8281: Fix KeepClient retry bugs.

get() and put() were both handling all Curl exceptions -- including
timeouts -- by marking the keep service as unusable. For example, if a
single proxy is the only service available, a single timeout was
fatal. This is fixed by setting the retry loop status to None instead
of False after curl exceptions.

put() was repeating its retry loop until it achieved the desired
number of replicas _in a single iteration_. For example, when trying
to store 2 replicas, 6 loop iterations with a single success in each
iteration would result in 6 copies being stored but put() declaring
failure. This is fixed by checking against a cumulative "done" counter
instead of the "copies done in this loop iteration" counter.

8281: Fix arv-mount ignoring --retries argument when writing file data.

"num_retries" arguments get passed around extensively in arvfile.py
and collection.py in the Python SDK, but ultimately the writing of
file data is done by a _BlockManager which doesn't have any way to
accept that argument or pass it along to a KeepClient, so PUT requests
always use the CollectionWriter's KeepClient's default num_retries.

In arv-mount's case, we have been telling CollectionWriter the
num_retries we want. When CollectionWriter creates a KeepClient,
num_retries gets passed along -- normally this works around the fact
that num_retries gets lost by the _BlockManager layer. However, we
provided our own KeepClient to use instead of letting CollectionWriter
create one, and we forgot to set num_retries on our own KeepClient, so
we weren't retrying PUT requests.

6833: Test setting small blobSignatureTtl.  Fix earlier fix.

6833: Test to confirm that enabling polling on CollectionDirectory causes
tokens to be refreshed.

6833: Collection update file block list (to get most recent tokens) even when actual
content hasn't changed.

6833: Add (most of) a test case for token expiry.

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

Merge branch '8008-test-all-packages' closes #8008

8008: Tweak error code reporting.  Remove debugging line.

Merge branch '8008-package-testing' refs #8008

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

7846: Better directory entry invalidation, fixes MagicDirApiError test.  Also
fix bug in typo in exception handler.

8008: Quote more variables in package test scripts.

refs #6833
Merge branch '6833-arv-mount-cache-refresh'

6833: get blobSignatureTtl from discovery document and use it to set the poll_time.

6833: add poll_time to CollectionDirectory.

Fix typo.

refs #8248

refs #8028
Merge branch '8028-crunch-dispatch-local'

Merge branch 'master' into 8028-crunch-dispatch-local

Conflicts:
jenkins/run-tests.sh

closes #8028
Merge branch '8028-crunch-dispatch-local'

8028: Update the stub based test to use waitGroup.Wait() instead of sleep.

8028: In runningCmds loop, no need to wait for process termination.

8028: add command to waitGroup during run method itself; not during signal handling.

8028: when a signal is received, terminate all running commands and wait in a WaitGroup.

8028: add signal handling to dispatcher.

8028: After getting list of Queued containers, instead of looking for containers.ItemsAvailable, look for len(containers.Items)

8028: crunch-dispatch-local implementation

Document some arvbox hw/sw requirements refs #8080

Document some arvbox hw/sw requirements refs #8080

Enable arvbox user to sudo to crunch user.  refs #8080

Enable arvbox user to sudo to crunch user.  refs #8080

Add crunch-run to run-tests refs #7816

Merge branch '8248-explain-serialize'

closes #8248

Doc improvement: explain in more detail what the -serialize argument to
keepstore does.

closes #8248

Merge branch '7816-crunch2-exec' closes #7816

6605: arv-copy preferentially uses HTTP git urls.

Fix gitolite-shell path refs #8080

Fix gitolite-shell path refs #8080

8123: Ignore crunchstat "caught signal:" log.

Merge branch '8177-keep-web-trust-all-content-flag' closes #8177

8177: Offer -trust-all-content option for no-wildcard installs.

Add alert about XSS on intranet sites.

7816: CopyReaderToLog renamed to ReadWriteLines.  Use Writer instead of Logger
to avoid unnecessary copy.

8177: Expand trust_all_content comments.

Skip whole check_uri block when trust_all_content.

Fix test name.

8177: add trust_all_content config to Workbench.

7816: Rename to crunch-run

added git_internal_dir init in postinst.sh

Merge branch '8080-arvbox' closes #8080

Merge branch '8080-arvbox' closes #8080

Merge branch '7996-keep-web-doc' closes #7996

8080: fpm_depends comes before run-build-package commands; fpm_args comes after
run-build package commands.  Improve quoting.  Use sed -i.

8008: Move test files into their own directories.  Fix rails package tests to
work with debian & ubuntu.  Fix error code checking.

7996: Add keep-web to install TOC and server/cert lists.

7816: Fixes recommended by golint.

7816: Change ThrottledLogger Stop() to Close().  Choose finalState once so that
log and container record can't go out of sync.  Add comments.

8008: Remove workbench git version constraint.

8008: SSO package tests pass for all targets.

8008: Incorporate SSO package testing into general package testing framework.

Fix cli "update" example. No issue #

Merge branch '8189-handle-large-collections-better' refs #8189

8189: Use large page size only when fetching all pages.

8008: Add dependencies on libcurl and postgresql dev packages in order to build
gems.

8189: Replace MAX_LIMIT const with max_items_per_response config.

8189: Fix too-small page size in "fetch all pages" code.

Python SDK and workbench effectively default to the API server's
MAX_LIMIT when requesting a list of objects, in those cases where no
explicit limit is set in the client code.

Fixing our fpm rails package building to handle fpm-info.sh.

8008: Add git dependency to api server and workbench.

8008: Run bundle install and bundle list for api server and workbench.

8080: Successfully tests all packages.  Produces before/after/diff lists for each package.

8008: Test each Arvados package individually.

8028: add services/crunch-dispatch-local

8123: Fix crunchstat formatting error and resulting crunchstat-summary crash.

8123: Add option to include stats from child jobs.

8123: Generate multiple sets of charts when data source is a pipeline instance.

8123: Add option (--format html) to generate canvasjs charts.

8123: Aim 5% below GiB memory size boundaries.

8123: Recommend more economical values for resource_constraints.

8123: Add --pipeline-instance mode: generate a report for each finished component.

Merge branch '8014-rails-postinst-doc-update-wip'

Refs #8014.  Closes #8111.

8014: Install guide uses new Rails postinst scripts for configuration.

Merge branch '8014-rails-postinst-scripts-wip'

Refs #8014.  Closes #8036.

8014: Rails upgrade scripts are removed; don't run them in deploy script.

8014: Rails postinst script sets better default access for /etc/arvados.

8014, 8059: Unify Rails package building.

* Introduce a handle_rails_package function, and helpers, to build a
  Rails package.
* Generalize all the support scripts into unified postinst, prerm, and
  postrm scripts.  handle_rails_package builds these into the
  packages.  See jenkins/rails-package-scripts/README.md for details.
* More error checking throughout (e.g., check for failure when doing
  any prep work for Rails packages, or the Workbench packages
  specifically, using `set -e` in a subshell).

One behavior change from this unification: before this,
run-build-packages treated --build-bundle-packages to mean "*also*
build bundle packages", while run-build-packages-sso treated the
switch to mean "*only* build bundle packages".  This commit declares
run-build-packages to be the winner, and makes run-build-packages-sso
consistent with it.

Fix quoting of local variable assignments throughout.

When you assign a variable directly (e.g., `FOO=bar`), you don't need
to quote the RHS, because the shell doesn't do expansion in that
case.  But when you declare and assign a variable (e.g., `local
foo=bar`), you *do* potentially need to quote it, because `local` is a
command and all the normal expansion rules for running commands
applies.

8014: Clean database state detection in arvados-sso postinst.

* Remove unused status code capture.
* Use `grep -q`.  Previous versions of the script avoided it because
  they piped directly from rake tasks, which would get upset when the
  pipe broke.  Now that we capture all the output, that's no longer a
  concern.

8014: Introduce run_and_report function to arvados-sso postinst.

Use this to DRY up code that says "Doing something... done."
This commit removes some `|| exit $?` that's redundant with `set -e`.

8014: Improve conffile handling in arvados-sso postinst.

* DRY it up into a function.
* DATABASE_READY and APPLICATION_READY care about whether the
  corresponding .yml file is usable.  Always detect when it is
  unmodified from the .yml.example file.
* Build symlinks from /var/www to /etc in more cases where it's safe.

8014: arvados-sso postinst recognizes versioned Nginx service names.

8014: Refactor web service detection warnings in arvados-sso postinst.

8014: Simplify COMMAND_PREFIX-setting code.

8014: Refactor "not fully configured" messages in arvados-sso postinst.

8014: Remove unused $VERSION tracking from arvados-sso postinst.

8014: Remove unused sso-server-upgrade.sh script.

7991: pip build process detects if --no-use-wheel is supported.

Refs #7991.

7991: Update error message for pip build errors.

Refs #7991.

Merge branch '7991-google-api-python-client-perms-wip'

Closes #7991, #8136.

7991: Fix permissions of google-api-python-client egg info files.

Make sure not to silence package installation during the test-packages
stage, so that we can see actual failure messages if there is a problem.

No issue #

7816: Converted testing to use stubbed out ThinDockerClient instead of real Docker.

7816: Crunch2 executor prototype work in progress.

7816: Update Go SDK to use correct block locator pattern.  Change FileToken
string in manifest to FileStreamSegment struct.