Merge branch 'master' into 6859-fix-invalid-manifests

6859: add one more test with error during arv-put

Accept libcurl4-openssl-dev as an alternative to libcurl4-gnutls-dev dependency. refs #6638

Use relative data_files paths so package is installable in a virtualenv. refs #6934

Unfortunately this also means /usr/pam-configs/arvados moves to
/usr/local/pam-configs/arvados, where pam-auth-update(8) does not see
it.

Merge branch '6638-backport-deps' refs #6638

Merge branch '6950-install-guide-job-test-wip'

Closes #6950, #6960.

6950: Improve "make a job" check in Crunch dispatch install guide.

* This check ensures that Crunch has something to dispatch.  It
  doesn't test anything about the disptacher itself.  Move it up, as a
  prerequisite sanity check.
* Explain what success looks like.
* Explain common error causes and how to debug them.
* Better markup for the user input.

6859: add test for salvage_collection

6859: Add check for ENV[ARVADOS_API_TOKEN] and handle any other issues during arv-put. Split salvalge_collection method into lib module.

6859: use --as-stream and improved arg parsing.

6638: 6934: Fix up shellinabox example and add to package.

6638: Add package deps for llfuse and pycurl backports

Merge branch 'master' into 6859-fix-invalid-manifests

closes #6572
Merge branch '6572-doc-copy-pipeline'

6572: minor section title updates

Merge branch 'master' into 6572-doc-copy-pipeline

6859: fix issue with tempfile not actually being written and also update message logging.

Merge branch 'master' into 6859-fix-invalid-manifests

6638: Add python sdk package dependencies.

Merge branch '6934-pam' refs #6934

6934: Recommend system-log-daemon metapackage, not rsyslog specifically.

Merge branch 'master' into 6859-fix-invalid-manifests

6934: Move integration tests into separate dir.

Now, "python setup.py --test-suite integration_tests" will run
integration tests, and "python setup.py" won't -- regardless of
whether you are root, and what your pam config looks like.

6934: Fix Dockerfile instructions. Use default test port. Use arvados/foo tag convention.

6859: updated script to append all locators to newly created manifest text from the original salvaged collection.

Merge branch '5824-go-sdk' refs #5824

5824: Merge branch 'master' into 5824-go-sdk

6934: Add pam_sm tests.

6934: Split module

6934: Put wrapper in /lib/security/ instead of writing dist-packages path in config file. Make integration test work.

6934: Add packaging instructions

6859: added salvage_collection.rb script.

Merge branch 'master' into 6572-doc-copy-pipeline

5824: Test invalid argument vs. 404.

6938: Install guide covers git server before standard objects.

The standard objects page covers creating the arvados git repository,
which requires Git hosting to be set up already.  It also feels like
this flows a little nicer because currently the Git server must be on
the same host as the API server.

Closes #6938.

5824: Add tests for UUIDMatch and PDHMatch.

5824: Return InvalidArgument (not 404) for poor argument choices that do not involve real HTTP failures.

Merge branch '6260-work-queue-status' refs #6260

6572: update to make it clear that the user can access anonymous token to use arv-copy.

6260: Add explanatory comment about testing /status.json.

6260: Rename ReportDone to DoneItem.

6260: Improve Gate explanation.

Merge branch 'master' into 6572-doc-copy-pipeline

5824: Add test for nonexistent resource type.

5824: Document ClientPool.

5824: Doc/comment fixes, add test for "Get empty UUID"

5824: Fix up comments for godoc.

5824: Add UUID and PDH matchers.

5824: Do not JSON-encode string params. Fixup comments for godoc.

5824: Use fmt "%+q" instead of custom escaping.

5824: Add Get() method to arvadosclient.

Shut down API server after suite (noticed during 5824, otherwise no issue #)

5824: Move client pool to SDK.

5824: Move quoted-logging function to SDK.

5824: gofmt

5824: Move spying ResponseWriter to SDK.

5824: Move HTTP server code to SDK.

5824: Move request auth code into an SDK package. Support more ways of passing tokens.

closes #6858
Merge branch '6858-job-re-run-documentation'

refs #6827
Merge branch '6827-short-token'

Improve crunch-dispatch runit script in install guide.

* Modernize crunch-dispatch's prerequisites.
* Document what this script is.
* Consolidate environment variables for easier configuration.

No issue #.

Include example service script for keepproxy.

Conveniently you just need this one line, which should work equally
well in all kinds of supervisors.  No issue #.

6827: fix error in setting valid token.

6827: set validApiToken flag after ensuring that getting list of repositories work with the given credentials.

Merge branch 'master' into 6827-short-token

6827: Test logging handler with short token.

6260: Pull entire status object out of WorkQueue atomically.

6260: Expose queue sizes in /status.json. Fix sleep/race in trash_worker_test.

6260: gofmt

6260: Fix races in keepstore tests. Expose WorkQueue in-progress/queued stats.

closes #6827
Merge branch '6827-no-passwords-in-logs'

6827: add a comment that only the first 10 characters of a valid token are logged.

Merge branch 'master' into 6827-no-passwords-in-logs

6572: add a new page in install guide to "copy a pipeline template from Curoverse cloud" using arv-copy.

6934: Load config from pam conf instead of yaml. Add docker/integration tests and example configs.

6934: Improve and test logging

6934: Replace custom config with yaml. Simplify code path.

6934: Add arvados_pam package.

Merge branch '6844-py-mem-leak' closes #6844

6844: Clean up websocket tests, fix possible deadlock, reduce unnecessary sleep().

* Use onevent=q.put_nowait, so "too many events" raises Queue.Full
  instead of blocking the websocket thread.

* Simplify test strategy: get the events we expect (waiting <5s for
  each), then make sure no more events arrive for >2s.

* Delete "no logs arrive from 1 day in the future" test:
  indistinguishable from "no logs arrive from 1 hour in the future".

* Delete "use today's date, with no time, as a threshold" test:
  indistinguishable from "can fetch logs 1 hour in the past"

* De-duplicate strftime(), datetime arithmetic, and "how to ask for
  logs starting at time X" logic.

* Express timestamp thresholds in ISO8601. Existing tests continue to
  use localtime. Two new tests use UTC.

6827: log only valid token and only the first 10 characters.

Make rvm-exec version in crunch-dispatch run script less specific.

Any Ruby 2.1 is fine; we don't specifically need 2.1.1.  We use
`default` elsewhere throughout our documentation, so follow that
pattern here.  No issue #.

Add Gitolite UMASK setting to install guide.

No issue #.

Add client_max_body_size to Nginx install configurations.

Nginx's default value for this setting is 1m, so adjusting it is all
but required to do useful work.  No issue #.

Highlight dynamic fields in Keep service registration instructions.

No issue #.

Install Git in shell server install guide.

I don't think we expressly use curl for anything, but reusing the
install template seemed easy enough.  In the future we might want to
expand this to a list of packages that are useful for Arvados work
generally (like maybe jq), but I wanted to keep this commit simple.

No issue #.

Remove redundant console line from Workbench install guide.

No issue #.

6844: Clear inserted data/logs after websocket tests.

6844: Do not use inspect.getcallargs: it leaks memory. Passing num_retries as a positional argument is no longer supported.

6844: Always write a valid \n-terminated manifest. Confine exception-catching to expected exceptions.

6844: Skip uselessly writing unsigned manifest to Keep.

6844: Return valid locator (hash+size) if 0 copies requested.

API server install guide suggests a more likely websocket_address.

/websocket is hardcoded as the websocket endpoint in our own code, so
that's where it'll be when people use the provided nginx configuration.
No issue #.

Merge branch '6858-job-re-run-documentation'
closes #6858

6858: Fixed syntax and added notes to re-use the same hashes from previous runs

6858: Added new section 'Re-using your pipeline run' and moved all version control parameters there for ease of reading. Added more explanation of all parameters

6858: Added note about job reproducibility and version control with arvados_sdk_version, script_version, and docker_image to Writing a Pipeline template

6851: reorder install guide pages; right after api server, install workbench, shell server and standard objects.

Haha, no seriously, don't deploy Workbench with snakeoil certs.

No issue #.

closes #6880
closes #6916
Merge branch '6880-remove-user-delete-button'