Merge branch '6598-crunch-progress-stats' closes #6598

Merge branch '6847-docker-dns-wip'

Closes #6847, #6853.

6847: Handle Docker DNS in Docker daemon configuration.

crunch-job currently uses the host's public IP address as a DNS
resolver for containers.  This requires all compute nodes to run DNS,
which isn't strictly necessary.  Remove this code, and document how to
set nameservers in the Docker daemon configuration.

Merge branch '6590-api-config-docs'

I am breaking our own rules here, since this merge includes a
non-trivial commit from me that hasn't been reviewed.  I'm going ahead
with it because I understand the driving motivation of branch reviews
is to make sure two sets of eyes see changes that could impact future
work, and I think that's been accomplished here.  My changes only
touch what Peter had already changed.

Plus, with Peter out for a week, the benefits of merging outweigh the
value of holding back.  Users get the benefit of improved
documentation immediately; we'll look better at sprint review; and
documentation mistakes are comparatively easy to fix after the fact.

Closes #6590, #6721.

6590: Aesthetic improvements to the API install guide.

This implements the flow and grammar fixes requested in
<https://arvados.org/issues/6590#note-7>.  It also separates the
documentation for git_repositories_dir and git_internal_dir, and adds
a note that git_internal_dir should not be a subdirectory of
git_repositories_dir.

6598: Fix misreported "running tasks" stat.

Merge branch '6676-document-sso' refs #6676

Merge branch 'master' into 6676-document-sso

6676: Grammar fixes.

Fix type checks in arv-copy recursive collection copying.

This is necessary follow-up from
79564b0ac7d03327cc351bbd6df544ab1f776380.  API objects are now
OrderedDicts instead of dicts, so `type(obj) == dict` is never true,
and calling this function on an API object is a noop.

No issue #.  I found this after receiving a user report that arv-copy
did not copy dependent collections from a pipeline template.

arv-copy git check doesn't catch system exceptions.

No issue #.

Whitespace

No issue #

Merge branch 'git-commit-debug' of https://github.com/wtsi-hgi/arvados

No issue #

Adds useful log warnings re: repo failures

Instruments the find_commit_range function such that it logs an
explanatory warning in any case when it fails to find any refs.

When no refs are found, find_commit_range returns an empty list
which typically causes its caller to throw an exception. Without
these added warnings, that exception is not at all helpful in
tracking down the underlying issue.

Fix stale "Install Ruby and Bundler" links.

Now that these instructions are an include, include them everywhere
they're referenced.  No issue #.

RVM setup instructions tell you to install Bundler after activation.

On hosts that do not have any Ruby installed, the previous
instructions won't work, because the `gem` tool is only available
through RVM.  RVM needs to be activated in the shell first.

No issue #.

Merge branch '6592-retry-if-cleanupfail' closes #6592

Merge branch '6663-bugfixes' refs #6663

6590: Rename database.yml.sample to database.yml.example so be consistent
between application.yml.example and database.yml.example

6676: Reorganize instructions a bit more.  Fix createdb instructions.  Fix
rendering.  Fix typo in Google+ authentication setup.

6590: Reorganize application.default.yml.  Improve documentation for essential
API server configuration.  Remove obsolete hardcoded api tokens setting.

Do not mess with PERLLIB in crunch-job tests; let run-tests.sh do that.

Replace this with mocking crunch-refresh-trigger, so crunchenv still
has a reason to live.

6592: List runtime dependencies for Perl SDK.

6663: Admins and repository owners can_manage, not just can_write
(even though that might not translate to any additional functions with
the current gitolite config).

6663: Add explanatory comments and fix some unhelpful variable names.

6592: Add crunch-job integration tests.

6592: Exit RETRY_UNLOCKED if clean-work-dirs phase fails.

Also use "bash -o pipefail" so cleanup fails if mount or awk fails.

6592: Do not overload $Job temporarily.

Fixes failure during croak/cleanup, which assumes Job is either undef
or a real Job.

6592: 4534: Re-enable integration tests, now that run-tests.sh brings up an API server.

closes #6657
Merge branch '6657-no-git-in-arv-copy'

Merge branch 'master' into 6657-no-git-in-arv-copy

closes #6602
Merge branch '6602-job-runtime-display'

6602: enhance render_runtime method to display seconds when days, hours, and minutes are all zero even when round_to_min is true.

6602: remove render_runtime_compact; instead use render_runtime with use_words = false and round_to_min.

6663: Fix repository permissions.

Users with is_active==false (except anonymous_user) are not listed by
get_all_permissions.

A repository that is shared with a group is only shared with users who
have permissions on that group, not all users who have permissions on
*any* group.

{User --can_write--> group --can_read--> repo} is correctly listed as
{User --can_read--> repo}, not can_write.

Tests check that the permissions reported by get_all_permissions do
not exceed the API server's interpretation of the current permission
set.

6663: Fix "duplicate public_key" test: OK if the key being updated has the same public_key.

6663: Fix using default owner_uuid in repositories#create. refs #6652

6657: refactor git check and reuse.

Merge branch 'master' into 6657-no-git-in-arv-copy

Hotfix for test, transform "/dev/stdin" to "-" in arv-put refs #6681

Hotfix, inode cache find() returns list instead of single item now. refs #6643

6657:  copy_pipeline_template method also updated to check git existence.

Merge branch 'master' into 6657-no-git-in-arv-copy

Merge branch '6681-arv-put-pipe' closes #6681

Merge branch '6643-fuse-del-crash' closes #6643

6657: check git availability only when recursive copy is being used.

Merge branch 'master' into 6657-no-git-in-arv-copy

Merge branch 'master' into 6676-document-sso

Conflicts:
doc/install/install-sso.html.textile.liquid

Fix duplicated id in SSO install documentation.

No issue #.

6691: Add reference to Ubuntu trusty in Ruby install instructions.

I confirmed that these packages are all installable on Ubuntu 14.04.
Refs #6691.

Merge branch 'master' into 6657-no-git-in-arv-copy

6657: check git is installed in arv-copy

6691: Add Ubuntu trusty packages to our install guide.

Closes #6691, #6694.

6676: Add note about git and curl.  Describe how to run passenger standalone.

6676: Working through polishing SSO install documentation.

Merge branch 'master' into 6602-job-runtime-display

6602: update test assertion to match new format

6602: display runtime using the formula (min_nodes * (finished_at - started_at))

6778: Remove git install from PostgreSQL install instructions.

Closes #6778.

Merge branch '6451-websockets-invalid-input' closes #6451

Merge branch 'master' into 6602-job-runtime-display

Merge branch '5990-arv-run-default-runtime' closes #5990

Merge branch '6593-arv-get-stdout' closes #6593

6593: Typo fix in KeyboardInterrupt handling.

5990: Update arv-run subcommand cli doc.

6451: Refactor tests slightly to call subscribe_test() in two places.

6451: Validate that 500 error is returned to client.  Tweak code comments.

6593: Change docstring references from /dev/stdout to just "stdout".  Fix logic
to clean up open files on KeyboardInterrupt.

Merge branch '6706-fuse-forget-crash' closes #6706

6706: Add docstrings to close()

6643: Support associating uuid with multiple inodes to fix double-remove bug.

6643: Add test case that reproduces the bug

Merge branch 'master' into 6602-job-runtime-display

Merge branch '6705-fix-websockets-replay' closes #6705

6706: Add comments about what is going on with EventClient.close()

6602: use min_nodes * (finished_at - started_at) to calculate the allocated node time for each job.

6706: Bonus websockets bugfix, close connection immediately instead of waiting
for server shutdown response that might never come, then block until websocket
thread is in terminate state.

6706: Fixup websocket tests of PollClient

closes #6687
Merge branch '6687-install-guide-flow'

6706: Clear inode/inode cache dicts on destroy() instead of setting inodes to None.

6593: Use sys.stdout as special case instead of trying treat /dev/stdout as a regular file.

6687: revisit build tools text and other minor updates

6687: merge back nginx docs back into api server and workbench pages and remove the includes since they are not being shared.

Merge branch 'master' into 6687-install-guide-flow

refs #6279
Increased timeout to 2000ms; with the previous 1000ms value, the login to shell account was failing
sometimes as the token is being sent too early. With this value, it seems to work consistently.

6687: install guide updates aimed at reducing jumping around during the process

6681: When input file is "-", get data directly from sys.stdin and use
CollectionWriter.write() instead of opening /dev/stdin and trying to write like
a normal file.

5990: If --docker-image not specified, don't provide
runtime_contraints.docker_image, use default server configuration.  Update
documentation.

6451: Don't crash on ArgumentError.  Add test to verify that it doesn't crash.

6705: Use EventMachine::next_tick (which always pushes task into work queue)
instead of EventMachine::schedule (which calls recursively).  Also lower limit
of number of rows to fetch at a time.

6705: PollClient checks if there are more items and sends another query
immediately instead of waiting.  Better error reporting from events.py on
failure to connect to websockets.

6750: API install guide doesn't tell users to copy omniauth.rb.example.

This completes the work started in
2ecf7efbab5ceb082739dcffd98c18bb4b14447e.  omniauth.rb.example doesn't
exist anymore, so users can't copy it.  The application.yml
configuration method is preferred.  Closes #6750.

Add standard Python .gitignore for CWL SDK.

No issue #.

Merge branch '6264-cwl-runner' closes #6264

closes #6473
Merge branch '6473-fetch-events-starting-at'

6473: update message for start_time input argument.

Merge branch 'master' into 6473-fetch-events-starting-at

refs #6465
Merge branch '6465-optimize-workbench-integration-tests'

6465: Noticed a slight dip in code coverage in two areas and added tests to cover those situations. Details:
1. Removal of integration "Test dashboard button all {jobs}" resulted in no test at all to visit /jobs page.
Added a controller test for this.
2. Not visiting the hash match page when only one collection matches (the controller test just verified the redirection),
resulted in the unforeseen side effect of not testing preview allowed status for a file name extention that is not listed
in application_mimetypes_with_view_icon (tar file in this case). Added this to test.

Merge branch '6438-multiplatform-install-guide-TC' refs #6499