6862: Added git commands clone, checkout, add, commit, push

6862: Added git-arvados-guide first draft documentation

Added RetryLoop to current_task, current_job, and task_set_output with logging and retrying, and waiting 1 second between retries. Also added __init__ method to the jobclass(?) to deal with num_retries and put them in execute. Waiting for verification to see if that works, or moving to the RetryLoop model.

Merge branch '6844-py-mem-leak' of git.curoverse.com:arvados into 6600-pysdk-api-retries

Get memory-leak fix

6600: Added _add_task function with default num_retries=5 for one_task_per* functions to use for retrying

6844: Clean up websocket tests, fix possible deadlock, reduce unnecessary sleep().

* Use onevent=q.put_nowait, so "too many events" raises Queue.Full
  instead of blocking the websocket thread.

* Simplify test strategy: get the events we expect (waiting <5s for
  each), then make sure no more events arrive for >2s.

* Delete "no logs arrive from 1 day in the future" test:
  indistinguishable from "no logs arrive from 1 hour in the future".

* Delete "use today's date, with no time, as a threshold" test:
  indistinguishable from "can fetch logs 1 hour in the past"

* De-duplicate strftime(), datetime arithmetic, and "how to ask for
  logs starting at time X" logic.

* Express timestamp thresholds in ISO8601. Existing tests continue to
  use localtime. Two new tests use UTC.

6844: Clear inserted data/logs after websocket tests.

6844: Do not use inspect.getcallargs: it leaks memory. Passing num_retries as a positional argument is no longer supported.

6844: Always write a valid \n-terminated manifest. Confine exception-catching to expected exceptions.

6844: Skip uselessly writing unsigned manifest to Keep.

6844: Return valid locator (hash+size) if 0 copies requested.

#6600: Added num_retries to task_set_output, current_task, current_job, created _add_task in job_setup class to add retries to execute()

API server install guide suggests a more likely websocket_address.

/websocket is hardcoded as the websocket endpoint in our own code, so
that's where it'll be when people use the provided nginx configuration.
No issue #.

Merge branch '6858-job-re-run-documentation'
closes #6858

6858: Fixed syntax and added notes to re-use the same hashes from previous runs

6858: Added new section 'Re-using your pipeline run' and moved all version control parameters there for ease of reading. Added more explanation of all parameters

6858: Added note about job reproducibility and version control with arvados_sdk_version, script_version, and docker_image to Writing a Pipeline template

6851: reorder install guide pages; right after api server, install workbench, shell server and standard objects.

Haha, no seriously, don't deploy Workbench with snakeoil certs.

No issue #.

Merge branch 'master' of https://github.com/curoverse/arvados

closes #6858

Merge branch '6858-job-re-run-documentation'

closes #6880
closes #6916
Merge branch '6880-remove-user-delete-button'

6880: improved deletable? check

closes #6858 Merge branch 6858-job-re-run-documentation

Merge branch 'master' into 6880-remove-user-delete-button

Fixed syntax and added notes to re-use the same hashes from previous runs

Added new section 'Re-using your pipeline run' and moved all version control parameters there for ease of reading. Added more explanation of all parameters

crunch-dispatch preserves LD_LIBRARY_PATH environment variable.

This helps it run better in environments using Software Collections to
satisfy dependencies.  No issue #.

Install guide notes that snakeoil certs break browser uploads.

You know, with all the usual caveats that users theoretically control
what certs their browser does and doesn't trust, etc.  No issue #.

Add perl-Crypt-SSLeay as a Perl SDK dependency on Red Hat.

No issue #.

Quote `git_repo_ssh_base` value in git install guide.

Without this, the YAML gem complains that you're trying to do some
unallowed variable interpolation.  No issue #.

Fix `websocket_address` typo throughout API install guide.

No issue #.

Add `bundle exec` needed to run script in keepproxy install guide.

No issue #.

Do not split partition config across lines. No issue #

slurm.conf(5) from slurm 2.3.4: "Each line of partition configuration
information should represent a different partition."

6880: added deletable? method and used to determine whether or not to show this button in the delete_object_button partial.
6916: created and moved logic into show_home_button partial rather than determine whether or not to show the button in the generic view.

Added note about job reproducibility and version control with arvados_sdk_version, script_version, and docker_image to Writing a Pipeline template

6880: Omit delete button from users index table; add controller tests.
6916: Show Home link in users page only and not in all other pages accessed via admin settings menu such as /repositories page; add controller tests.

closes #6851
Merge branch '6851-install-guide-flow'

6851: reorder install guide pages; right after api server, install workbench, shell server and standard objects.

closes #6277
Merge branch '6277-check_manifest_validity'

6277: slightly improved tests

6277: add default_empty_manifest before_validation filter and update the tests accordingly.

Merge branch 'master' into 6277-check_manifest_validity

6277: more tests with error checking

closes #6588
Merge branch '6588-split-manage-account'

Merge branch 'master' into 6588-split-manage-account

6588: Removed unused objects in user_settings_menu_test.

Merge branch 'master' into 6277-check_manifest_validity

Merge branch 'master' into 6588-split-manage-account

Merge branch '6663-git-server' refs #6663

6588: Changed settings menu to user settings menu and changed text if account is setup.

6663: Add back nginx configs to match tested values.

Merge branch 'master' into 6277-check_manifest_validity

6588: Removed last reference to manage account page and reworded tests
to not use manage account.

6157: Copyedits to compute node name docs.

Mostly for wording and typographic consistency within the page.
Refs #6157.

Merge branch '6157-worker-hostnames' closes #6157

refs #6588
Merge branch '6588-documentation'

6588: replace manage_account page references with the new SSH keys and Virtual machines page references.

6277: enforce manifest validation

6157: Explain how choice of hostnames relates to slurm and arvados.

refs #6588
Merge branch '6588-documentation'

6588: fix typo

6588: Removed manage account button, modified tests and deleted views.

Merge branch 'master' into 6588-documentation

refs #6588
Merge branch '6588-split-manage-account'

6663: Fix config/application.yml -> application.yml.

6663: Finish editing sentence.

6663: Add non-runit-dependent daemon startup script.

6663: Remove unneeded nginx config, clarify where config should be added.

6588: Go directly to pages instead of going through home page and search
for more specific details on pages.

closes #6476
Merge branch '6476-actions-show-not-need-token'

6476: add comment

Merge branch 'master' into 6476-actions-show-not-need-token

6588: Formatted tests and changed others to be more efficient.

Merge branch '6838-docker-path' closes #6838

6663: More explicit gitolite version advice, and link to home page.

6663: Split "install runit" into debian and red hat variants.

6663: Add "restart nginx" instructions.

6663: Update nginx config to look more like API server's.

6663: Formatting fixes.

6663: Fix API config example for HTTPS, add corresponding SSH example.

6663: gitolite, not arvados-git-sync.rb, creates empty repos.

6663: Clarify "gitolite installed in X" vs. "hosted repos stored in X/repositories".

6663: Clarify port 22 goes to sshd.

6663: Clarify default vs. example git_repositories_dir.

6663: Fix wrong bash prompt in example transcript.

6663: Update default git_repositories_dir to match install guide.

6476: simpler conditional check

Merge branch 'master' into 6476-actions-show-not-need-token

6476: skip require_thread_api_token filter when anonymous browsing is enabled and one of the supported types is being accessed.

Merge branch 'master' into 6663-git-server

Conflicts:
doc/install/install-api-server.html.textile.liquid

closes #6414
Merge branch '6414-anonymous-public-projects-link'

6414: Added an assertion to test if objects are equal.

Merge branch '6591-6674-6676-nginx-docs-wip'

Closes #6591, #6674, #6676, #6739 (woo!).

6591: Add ssl_certificate lines to sample install nginx configs.

6676: Install docs recommend running SSO server behind Nginx.

This provides a straightforward way to get the server running as a
daemon, and matches our suggestions for other Web servers for
simplicity.

6591: Suggest proxy timeouts in install doc Nginx configs.

These settings match what we use in production.  The defaults are more
aggressive and can cause 503 responses for larger requests.

6591: Improve install docs around $external_client variable.

Our Nginx configuration uses this variable to automatically set
X-External-Client: 1 in API request headers when clients don't have
direct access to Keep stores.

* Document the variable definition, and how to customize it, in the
  suggested API server configuration.
* Remove the variable from the Workbench configuration.  Workbench
  does not currently read this header, so it isn't necessary.

6674: Install docs use Phusion's install instructions exclusively.

Don't suggest installing nginx packages from a distribution or
backports collection, because that conflicts with the instructions
provided by Phusion.

6588: Changed routes to be under /users, used @object and updated
tests.