8178: Stop accepting zeroed data, now that the s3test bug is fixed.

8178: update trash/untrash test

8178: add generic volume tests for trash / untrash interface.

closes #8198
Merge branch '8198-node-ip-address'

Merge branch 'master' into 8198-node-ip-address

refs #8178
Merge branch '8178-keepstore-trash-interface'

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/handlers.go
services/keepstore/volume_test.go

8178: untrash should fail when ErrNotImplemented is returned.

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

Merge branch '8123-crunchstat-graphs' closes #8123

8123: Escape HTML chars in page title.

8123: Explain existing_constraints and use a proper instance variable.

8123: Fix accidental old-style class.

8123: Fix type check to accommodate unicode.

8123: Use -v,-vv instead of --verbose,--debug.

8123: Change --include-child-jobs to --skip-child-jobs (default False).

8123: Explain mysterious memory constraint logic.

8123: Update test dependencies.

8123: Include chartjs.js in package.

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/azure_blob_volume.go
services/keepstore/handler_test.go
services/keepstore/handlers.go
services/keepstore/keepstore.go
services/keepstore/s3_volume.go
services/keepstore/volume_test.go
services/keepstore/volume_unix.go

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8198: consider X-Forwarded-For header by way of request.repote_ip while setting node ip address.

Fix python sdk tests refs #6833

Merge branch '8281-arv-mount-retry' closes #8281

Merge branch '6833-test-token-expiry' closes #6833

Merge branch '7846-magic-invalidate-entry' closes #7846

8281: Limit # write threads to #copies remaining, not #copies total.

8281: Fix KeepClient retry bugs.

get() and put() were both handling all Curl exceptions -- including
timeouts -- by marking the keep service as unusable. For example, if a
single proxy is the only service available, a single timeout was
fatal. This is fixed by setting the retry loop status to None instead
of False after curl exceptions.

put() was repeating its retry loop until it achieved the desired
number of replicas _in a single iteration_. For example, when trying
to store 2 replicas, 6 loop iterations with a single success in each
iteration would result in 6 copies being stored but put() declaring
failure. This is fixed by checking against a cumulative "done" counter
instead of the "copies done in this loop iteration" counter.

8281: Fix arv-mount ignoring --retries argument when writing file data.

"num_retries" arguments get passed around extensively in arvfile.py
and collection.py in the Python SDK, but ultimately the writing of
file data is done by a _BlockManager which doesn't have any way to
accept that argument or pass it along to a KeepClient, so PUT requests
always use the CollectionWriter's KeepClient's default num_retries.

In arv-mount's case, we have been telling CollectionWriter the
num_retries we want. When CollectionWriter creates a KeepClient,
num_retries gets passed along -- normally this works around the fact
that num_retries gets lost by the _BlockManager layer. However, we
provided our own KeepClient to use instead of letting CollectionWriter
create one, and we forgot to set num_retries on our own KeepClient, so
we weren't retrying PUT requests.

6833: Test setting small blobSignatureTtl.  Fix earlier fix.

6833: Test to confirm that enabling polling on CollectionDirectory causes
tokens to be refreshed.

6833: Collection update file block list (to get most recent tokens) even when actual
content hasn't changed.

6833: Add (most of) a test case for token expiry.

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

Merge branch '8008-package-testing' refs #8008

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

7846: Better directory entry invalidation, fixes MagicDirApiError test.  Also
fix bug in typo in exception handler.

refs #6833
Merge branch '6833-arv-mount-cache-refresh'

6833: get blobSignatureTtl from discovery document and use it to set the poll_time.

6833: add poll_time to CollectionDirectory.

Fix typo.

refs #8248

closes #8028
Merge branch '8028-crunch-dispatch-local'

8028: Update the stub based test to use waitGroup.Wait() instead of sleep.

8028: In runningCmds loop, no need to wait for process termination.

8028: add command to waitGroup during run method itself; not during signal handling.

8028: when a signal is received, terminate all running commands and wait in a WaitGroup.

8028: add signal handling to dispatcher.

8028: After getting list of Queued containers, instead of looking for containers.ItemsAvailable, look for len(containers.Items)

8028: crunch-dispatch-local implementation

Merge branch '8248-explain-serialize'

closes #8248

Doc improvement: explain in more detail what the -serialize argument to
keepstore does.

closes #8248

Merge branch '7816-crunch2-exec' closes #7816

8123: Ignore crunchstat "caught signal:" log.

Merge branch '8177-keep-web-trust-all-content-flag' closes #8177

8177: Offer -trust-all-content option for no-wildcard installs.

Add alert about XSS on intranet sites.

7816: CopyReaderToLog renamed to ReadWriteLines.  Use Writer instead of Logger
to avoid unnecessary copy.

8177: Expand trust_all_content comments.

Skip whole check_uri block when trust_all_content.

Fix test name.

8177: add trust_all_content config to Workbench.

7816: Rename to crunch-run

Merge branch '7996-keep-web-doc' closes #7996

7996: Add keep-web to install TOC and server/cert lists.

7816: Fixes recommended by golint.

7816: Change ThrottledLogger Stop() to Close().  Choose finalState once so that
log and container record can't go out of sync.  Add comments.

8008: Remove workbench git version constraint.

Fix cli "update" example. No issue #

Merge branch '8189-handle-large-collections-better' refs #8189

8189: Use large page size only when fetching all pages.

8008: Add dependencies on libcurl and postgresql dev packages in order to build
gems.

8189: Replace MAX_LIMIT const with max_items_per_response config.

8189: Fix too-small page size in "fetch all pages" code.

Python SDK and workbench effectively default to the API server's
MAX_LIMIT when requesting a list of objects, in those cases where no
explicit limit is set in the client code.

8008: Add git dependency to api server and workbench.

8123: Fix crunchstat formatting error and resulting crunchstat-summary crash.

8123: Add option to include stats from child jobs.

8123: Generate multiple sets of charts when data source is a pipeline instance.

8123: Add option (--format html) to generate canvasjs charts.

8123: Aim 5% below GiB memory size boundaries.

8123: Recommend more economical values for resource_constraints.

8123: Add --pipeline-instance mode: generate a report for each finished component.

Merge branch '8014-rails-postinst-doc-update-wip'

Refs #8014.  Closes #8111.

8014: Install guide uses new Rails postinst scripts for configuration.

7816: Converted testing to use stubbed out ThinDockerClient instead of real Docker.

7816: Crunch2 executor prototype work in progress.

7816: Update Go SDK to use correct block locator pattern.  Change FileToken
string in manifest to FileStreamSegment struct.

closes #7607
Merge branch '7607-getting-started-flag'

Merge branch 'master' into 7607-getting-started-flag

Merge branch '8095-install-guide-rails-sudo-wip'

Closes #8095, #8096.

8095: Make install guide bundle commands more consistent.

* Always instruct the user to use `sudo -u`.  This prevents the
  commands from generating cache files that the web server can't write
  later.
* Always execute the command in the server's main directory.  This
  helps people run on automatic: if they leave a shell session open at
  the API server directory, they can paste in a combination of Rails
  console and script commands without `cd`ing around.
* Always give both RVM and non-RVM instructions.  There might be a
  good way to streamline this, e.g., by telling them to use rvmsudo
  when available, but that can be a later optimization.

Add pycurl version constraint to Python SDK because of breaking API change, refs #8104

7607: updated user_profile_test to set getting_started config in test.

7607: Update application layout tests; by default getting_started is disabled and hence the help menu will not include this option.
Also, added an additional test case for user with profile but no getting_started flag and expect the popup upon first login.

7942: Skip unreliable test. refs #7942

Merge branch '7957-new-software-collections-install-wip'

Closes #7957, #8097.

7957: Update Software Collections instructions in install guide.

* Document the process we currently follow on CentOS 6.
* Add a reference for RHEL instructions.
* Move noteboxes up, so people can follow the instructions
  linearly ("enable Software Collections, then install the packages").

Merge branch '7816-exit-code' refs #7816

8080: Pull c.reload etc out of the assert_raises.  Remove spurious blank lines.

Merge branch '8082-col-markup' refs #8082