6260: Pull entire status object out of WorkQueue atomically.

6260: Expose queue sizes in /status.json. Fix sleep/race in trash_worker_test.

6260: gofmt

6260: Fix races in keepstore tests. Expose WorkQueue in-progress/queued stats.

closes #6827
Merge branch '6827-no-passwords-in-logs'

6827: add a comment that only the first 10 characters of a valid token are logged.

Merge branch 'master' into 6827-no-passwords-in-logs

Merge branch '6844-py-mem-leak' closes #6844

6844: Clean up websocket tests, fix possible deadlock, reduce unnecessary sleep().

* Use onevent=q.put_nowait, so "too many events" raises Queue.Full
  instead of blocking the websocket thread.

* Simplify test strategy: get the events we expect (waiting <5s for
  each), then make sure no more events arrive for >2s.

* Delete "no logs arrive from 1 day in the future" test:
  indistinguishable from "no logs arrive from 1 hour in the future".

* Delete "use today's date, with no time, as a threshold" test:
  indistinguishable from "can fetch logs 1 hour in the past"

* De-duplicate strftime(), datetime arithmetic, and "how to ask for
  logs starting at time X" logic.

* Express timestamp thresholds in ISO8601. Existing tests continue to
  use localtime. Two new tests use UTC.

6827: log only valid token and only the first 10 characters.

Make rvm-exec version in crunch-dispatch run script less specific.

Any Ruby 2.1 is fine; we don't specifically need 2.1.1.  We use
`default` elsewhere throughout our documentation, so follow that
pattern here.  No issue #.

Add Gitolite UMASK setting to install guide.

No issue #.

Add client_max_body_size to Nginx install configurations.

Nginx's default value for this setting is 1m, so adjusting it is all
but required to do useful work.  No issue #.

Highlight dynamic fields in Keep service registration instructions.

No issue #.

Install Git in shell server install guide.

I don't think we expressly use curl for anything, but reusing the
install template seemed easy enough.  In the future we might want to
expand this to a list of packages that are useful for Arvados work
generally (like maybe jq), but I wanted to keep this commit simple.

No issue #.

Remove redundant console line from Workbench install guide.

No issue #.

6844: Clear inserted data/logs after websocket tests.

6844: Do not use inspect.getcallargs: it leaks memory. Passing num_retries as a positional argument is no longer supported.

6844: Always write a valid \n-terminated manifest. Confine exception-catching to expected exceptions.

6844: Skip uselessly writing unsigned manifest to Keep.

6844: Return valid locator (hash+size) if 0 copies requested.

API server install guide suggests a more likely websocket_address.

/websocket is hardcoded as the websocket endpoint in our own code, so
that's where it'll be when people use the provided nginx configuration.
No issue #.

Merge branch '6858-job-re-run-documentation'
closes #6858

6858: Fixed syntax and added notes to re-use the same hashes from previous runs

6858: Added new section 'Re-using your pipeline run' and moved all version control parameters there for ease of reading. Added more explanation of all parameters

6858: Added note about job reproducibility and version control with arvados_sdk_version, script_version, and docker_image to Writing a Pipeline template

6851: reorder install guide pages; right after api server, install workbench, shell server and standard objects.

Haha, no seriously, don't deploy Workbench with snakeoil certs.

No issue #.

closes #6880
closes #6916
Merge branch '6880-remove-user-delete-button'

6880: improved deletable? check

Merge branch 'master' into 6880-remove-user-delete-button

crunch-dispatch preserves LD_LIBRARY_PATH environment variable.

This helps it run better in environments using Software Collections to
satisfy dependencies.  No issue #.

Install guide notes that snakeoil certs break browser uploads.

You know, with all the usual caveats that users theoretically control
what certs their browser does and doesn't trust, etc.  No issue #.

Add perl-Crypt-SSLeay as a Perl SDK dependency on Red Hat.

No issue #.

Quote `git_repo_ssh_base` value in git install guide.

Without this, the YAML gem complains that you're trying to do some
unallowed variable interpolation.  No issue #.

Fix `websocket_address` typo throughout API install guide.

No issue #.

Add `bundle exec` needed to run script in keepproxy install guide.

No issue #.

Do not split partition config across lines. No issue #

slurm.conf(5) from slurm 2.3.4: "Each line of partition configuration
information should represent a different partition."

6880: added deletable? method and used to determine whether or not to show this button in the delete_object_button partial.
6916: created and moved logic into show_home_button partial rather than determine whether or not to show the button in the generic view.

6880: Omit delete button from users index table; add controller tests.
6916: Show Home link in users page only and not in all other pages accessed via admin settings menu such as /repositories page; add controller tests.

closes #6851
Merge branch '6851-install-guide-flow'

6851: reorder install guide pages; right after api server, install workbench, shell server and standard objects.

closes #6277
Merge branch '6277-check_manifest_validity'

6277: slightly improved tests

6277: add default_empty_manifest before_validation filter and update the tests accordingly.

Merge branch 'master' into 6277-check_manifest_validity

6277: more tests with error checking

closes #6588
Merge branch '6588-split-manage-account'

Merge branch 'master' into 6588-split-manage-account

6588: Removed unused objects in user_settings_menu_test.

Merge branch 'master' into 6277-check_manifest_validity

Merge branch 'master' into 6588-split-manage-account

Merge branch '6663-git-server' refs #6663

6588: Changed settings menu to user settings menu and changed text if account is setup.

6663: Add back nginx configs to match tested values.

Merge branch 'master' into 6277-check_manifest_validity

6588: Removed last reference to manage account page and reworded tests
to not use manage account.

6157: Copyedits to compute node name docs.

Mostly for wording and typographic consistency within the page.
Refs #6157.

Merge branch '6157-worker-hostnames' closes #6157

refs #6588
Merge branch '6588-documentation'

6588: replace manage_account page references with the new SSH keys and Virtual machines page references.

6277: enforce manifest validation

6157: Explain how choice of hostnames relates to slurm and arvados.

refs #6588
Merge branch '6588-documentation'

6588: fix typo

6588: Removed manage account button, modified tests and deleted views.

Merge branch 'master' into 6588-documentation

refs #6588
Merge branch '6588-split-manage-account'

6663: Fix config/application.yml -> application.yml.

6663: Finish editing sentence.

6663: Add non-runit-dependent daemon startup script.

6663: Remove unneeded nginx config, clarify where config should be added.

6588: Go directly to pages instead of going through home page and search
for more specific details on pages.

closes #6476
Merge branch '6476-actions-show-not-need-token'

6476: add comment

Merge branch 'master' into 6476-actions-show-not-need-token

6588: Formatted tests and changed others to be more efficient.

Merge branch '6838-docker-path' closes #6838

6663: More explicit gitolite version advice, and link to home page.

6663: Split "install runit" into debian and red hat variants.

6663: Add "restart nginx" instructions.

6663: Update nginx config to look more like API server's.

6663: Formatting fixes.

6663: Fix API config example for HTTPS, add corresponding SSH example.

6663: gitolite, not arvados-git-sync.rb, creates empty repos.

6663: Clarify "gitolite installed in X" vs. "hosted repos stored in X/repositories".

6663: Clarify port 22 goes to sshd.

6663: Clarify default vs. example git_repositories_dir.

6663: Fix wrong bash prompt in example transcript.

6663: Update default git_repositories_dir to match install guide.

6476: simpler conditional check

Merge branch 'master' into 6476-actions-show-not-need-token

6476: skip require_thread_api_token filter when anonymous browsing is enabled and one of the supported types is being accessed.

Merge branch 'master' into 6663-git-server

Conflicts:
doc/install/install-api-server.html.textile.liquid

closes #6414
Merge branch '6414-anonymous-public-projects-link'

6414: Added an assertion to test if objects are equal.

Merge branch '6591-6674-6676-nginx-docs-wip'

Closes #6591, #6674, #6676, #6739 (woo!).

6591: Add ssl_certificate lines to sample install nginx configs.

6676: Install docs recommend running SSO server behind Nginx.

This provides a straightforward way to get the server running as a
daemon, and matches our suggestions for other Web servers for
simplicity.

6591: Suggest proxy timeouts in install doc Nginx configs.

These settings match what we use in production.  The defaults are more
aggressive and can cause 503 responses for larger requests.