Merge branch 'master' into 6588-split-manage-account

6588: Removed unused objects in user_settings_menu_test.

Merge branch 'master' into 6588-split-manage-account

Merge branch '6663-git-server' refs #6663

6588: Changed settings menu to user settings menu and changed text if account is setup.

6663: Add back nginx configs to match tested values.

6588: Removed last reference to manage account page and reworded tests
to not use manage account.

6157: Copyedits to compute node name docs.

Mostly for wording and typographic consistency within the page.
Refs #6157.

Merge branch '6157-worker-hostnames' closes #6157

refs #6588
Merge branch '6588-documentation'

6588: replace manage_account page references with the new SSH keys and Virtual machines page references.

6157: Explain how choice of hostnames relates to slurm and arvados.

refs #6588
Merge branch '6588-documentation'

6588: fix typo

6588: Removed manage account button, modified tests and deleted views.

Merge branch 'master' into 6588-documentation

refs #6588
Merge branch '6588-split-manage-account'

6663: Fix config/application.yml -> application.yml.

6663: Finish editing sentence.

6663: Add non-runit-dependent daemon startup script.

6663: Remove unneeded nginx config, clarify where config should be added.

6588: Go directly to pages instead of going through home page and search
for more specific details on pages.

closes #6476
Merge branch '6476-actions-show-not-need-token'

6476: add comment

Merge branch 'master' into 6476-actions-show-not-need-token

6588: Formatted tests and changed others to be more efficient.

Merge branch '6838-docker-path' closes #6838

6663: More explicit gitolite version advice, and link to home page.

6663: Split "install runit" into debian and red hat variants.

6663: Add "restart nginx" instructions.

6663: Update nginx config to look more like API server's.

6663: Formatting fixes.

6663: Fix API config example for HTTPS, add corresponding SSH example.

6663: gitolite, not arvados-git-sync.rb, creates empty repos.

6663: Clarify "gitolite installed in X" vs. "hosted repos stored in X/repositories".

6663: Clarify port 22 goes to sshd.

6663: Clarify default vs. example git_repositories_dir.

6663: Fix wrong bash prompt in example transcript.

6663: Update default git_repositories_dir to match install guide.

6476: simpler conditional check

Merge branch 'master' into 6476-actions-show-not-need-token

6476: skip require_thread_api_token filter when anonymous browsing is enabled and one of the supported types is being accessed.

Merge branch 'master' into 6663-git-server

Conflicts:
doc/install/install-api-server.html.textile.liquid

closes #6414
Merge branch '6414-anonymous-public-projects-link'

6414: Added an assertion to test if objects are equal.

Merge branch '6591-6674-6676-nginx-docs-wip'

Closes #6591, #6674, #6676, #6739 (woo!).

6591: Add ssl_certificate lines to sample install nginx configs.

6676: Install docs recommend running SSO server behind Nginx.

This provides a straightforward way to get the server running as a
daemon, and matches our suggestions for other Web servers for
simplicity.

6591: Suggest proxy timeouts in install doc Nginx configs.

These settings match what we use in production.  The defaults are more
aggressive and can cause 503 responses for larger requests.

6591: Improve install docs around $external_client variable.

Our Nginx configuration uses this variable to automatically set
X-External-Client: 1 in API request headers when clients don't have
direct access to Keep stores.

* Document the variable definition, and how to customize it, in the
  suggested API server configuration.
* Remove the variable from the Workbench configuration.  Workbench
  does not currently read this header, so it isn't necessary.

6674: Install docs use Phusion's install instructions exclusively.

Don't suggest installing nginx packages from a distribution or
backports collection, because that conflicts with the instructions
provided by Phusion.

6588: Changed routes to be under /users, used @object and updated
tests.

6663: Use a more obviously fake token.

Merge branch '6221-write-trash-list'

Closes #6221, #6673.

Merge branch 'master' into 6588-split-manage-account

Merge branch '6598-crunch-progress-stats' closes #6598

Merge branch '6847-docker-dns-wip'

Closes #6847, #6853.

6847: Handle Docker DNS in Docker daemon configuration.

crunch-job currently uses the host's public IP address as a DNS
resolver for containers.  This requires all compute nodes to run DNS,
which isn't strictly necessary.  Remove this code, and document how to
set nameservers in the Docker daemon configuration.

Merge branch '6590-api-config-docs'

I am breaking our own rules here, since this merge includes a
non-trivial commit from me that hasn't been reviewed.  I'm going ahead
with it because I understand the driving motivation of branch reviews
is to make sure two sets of eyes see changes that could impact future
work, and I think that's been accomplished here.  My changes only
touch what Peter had already changed.

Plus, with Peter out for a week, the benefits of merging outweigh the
value of holding back.  Users get the benefit of improved
documentation immediately; we'll look better at sprint review; and
documentation mistakes are comparatively easy to fix after the fact.

Closes #6590, #6721.

6590: Aesthetic improvements to the API install guide.

This implements the flow and grammar fixes requested in
<https://arvados.org/issues/6590#note-7>.  It also separates the
documentation for git_repositories_dir and git_internal_dir, and adds
a note that git_internal_dir should not be a subdirectory of
git_repositories_dir.

6598: Fix misreported "running tasks" stat.

6838: If env var override is not set, let crunch-job use its default.

6588: User settings menu item name updates.

Merge branch 'master' into 6588-documentation

Merge branch '6676-document-sso' refs #6676

Merge branch 'master' into 6676-document-sso

6676: Grammar fixes.

Fix type checks in arv-copy recursive collection copying.

This is necessary follow-up from
79564b0ac7d03327cc351bbd6df544ab1f776380.  API objects are now
OrderedDicts instead of dicts, so `type(obj) == dict` is never true,
and calling this function on an API object is a noop.

No issue #.  I found this after receiving a user report that arv-copy
did not copy dependent collections from a pipeline template.

arv-copy git check doesn't catch system exceptions.

No issue #.

6663: Document git setup.

Whitespace

No issue #

Merge branch 'git-commit-debug' of https://github.com/wtsi-hgi/arvados

No issue #

6838: Document CRUNCH_JOB_DOCKER_BIN in example run script. Sync up with new default in sdk/bin/crunch-job.

Merge branch 'crunch-dispatch-docker-bin-env' of https://github.com/wtsi-hgi/arvados into 6838-docker-path

Makes it possible to set docker_bin in crunch-job

Adds a new environment variable (CRUNCH_JOB_DOCKER_BIN) that
crunch-dispatch.rb passes along to crunch-job (or if unset, it
defaults to "/usr/bin/docker.io" which is already the default for
crunch-job).

Adds useful log warnings re: repo failures

Instruments the find_commit_range function such that it logs an
explanatory warning in any case when it fails to find any refs.

When no refs are found, find_commit_range returns an empty list
which typically causes its caller to throw an exception. Without
these added warnings, that exception is not at all helpful in
tracking down the underlying issue.

Fix stale "Install Ruby and Bundler" links.

Now that these instructions are an include, include them everywhere
they're referenced.  No issue #.

RVM setup instructions tell you to install Bundler after activation.

On hosts that do not have any Ruby installed, the previous
instructions won't work, because the `gem` tool is only available
through RVM.  RVM needs to be activated in the shell first.

No issue #.

Merge branch '6592-retry-if-cleanupfail' closes #6592

Merge branch '6663-bugfixes' refs #6663

6590: Rename database.yml.sample to database.yml.example so be consistent
between application.yml.example and database.yml.example

6676: Reorganize instructions a bit more.  Fix createdb instructions.  Fix
rendering.  Fix typo in Google+ authentication setup.

6414: When viewing a public project, the text "Public Projects" now
links to the main public projects page. Added a test to verify link
is there.

6590: Reorganize application.default.yml.  Improve documentation for essential
API server configuration.  Remove obsolete hardcoded api tokens setting.

Do not mess with PERLLIB in crunch-job tests; let run-tests.sh do that.

Replace this with mocking crunch-refresh-trigger, so crunchenv still
has a reason to live.

6592: List runtime dependencies for Perl SDK.

6663: Admins and repository owners can_manage, not just can_write
(even though that might not translate to any additional functions with
the current gitolite config).

6663: Add explanatory comments and fix some unhelpful variable names.

6592: Add crunch-job integration tests.

6592: Exit RETRY_UNLOCKED if clean-work-dirs phase fails.

Also use "bash -o pipefail" so cleanup fails if mount or awk fails.

6592: Do not overload $Job temporarily.

Fixes failure during croak/cleanup, which assumes Job is either undef
or a real Job.

6592: 4534: Re-enable integration tests, now that run-tests.sh brings up an API server.

6588: Added templates for new routes.

Merge branch 'master' into 6588-split-manage-account

closes #6657
Merge branch '6657-no-git-in-arv-copy'

Merge branch 'master' into 6657-no-git-in-arv-copy

closes #6602
Merge branch '6602-job-runtime-display'

6602: enhance render_runtime method to display seconds when days, hours, and minutes are all zero even when round_to_min is true.

6588: Changed links to use routes and changed tests to match the
routes.

6602: remove render_runtime_compact; instead use render_runtime with use_words = false and round_to_min.