7667: Store node size in a table so to avoid blocking on booting and shutdown
actors to ask node size.

7667: Fix log message

7667: Combine polling logs into fewer lines for less noise.  Adjust message
when last_ping_at is unexpectedly none to be less severe (can happen in
innocent circumstances).  Report nodes in "booted" list as "booting" since they
are unpaired.  Fix tests.

7667: Node manager bug fixes and logging improvements.

 * ComputeNodeSetupActor will now finish if there is an unhandled exception.

 * ComputeNodeMonitorActor now explains why a node that is in the shutdown window
is not eligible for shutdown.

 * Logging in nodes_wanted now distinguishes idle/busy/booting/shutting down.

 * Logging by actors is now class name and a portion of the actor urn, so actions
of a specific actor can be consistently identified.

Try to make logging identify the actor consistently

Merge branch '6702-gce-node-create-fix' closes #6702

Merge branch '8288-arv-mount-deadlock' refs #8288

8288: Do not call operations.destroy() as a last resort, just abandon the llfuse thread.

8288: Add test case for --exec mode.

8288: Give fusermount -u a chance to work before resorting to operations.destroy().

Log a warning when resorting to operations.destroy().

De-duplicate setup/teardown code so more of the --exec code path is exercised in tests.

8123: Install chartjs.js asset file.

...during "setup.py install" too, not just when installing via
package.

refs #8123

Improve install guide Nginx+SCL integration.

No issue #.

login-sync gets user's home from /etc/passwd.

No issue #.

Workbench loads CA certs on Red Hat.

This has the same rationale and logic as #6432 and
9b910084faf3db6fa2071af604620e7d45d12a6c, applied to Workbench.

Changing from `/etc/ssl/certs` to `/etc/ssl/certs/ca-certificates.crt`
is safe, because add_trust_ca accepts either a directory with hashed
certs, or a file with multiple certs.  On Debian, the latter path is a
single file built from the hashed certs in the former, so this is
functionally identical there, and more predictable on Red Hat (where I
don't know what it's doing).

No issue #.

Add fuse dependency to FUSE driver package.

When the fuse tools aren't installed, attempting to run arv-mount
fails with "fuse: failed to exec fusermount".

No issue #.

Add curl library dependency to shell install guide.

No isse #.

SLURM install guide notes slurm.conf path on Red Hat.

No issue #.

Add missing ; in keepproxy Nginx config.

No issue #.

6702: Refactor create_node to BaseComputeNodeDriver so logic also applies to
Azure.  Adds new find_node() method; if returns None or raises an error,
re-raise the original create_node exception.

Merge branch '6702-gce-node-create-fix' closes #6702

Merge branch 'fix/build-python-llfuse-version' of https://github.com/wtsi-hgi/arvados
no issue #

Merge branch 'master' into 6702-gce-node-create-fix

Merge branch '8206-gce-retry-init' closes #8206

8206: Mock time.sleep() to avoid unnecessary delay in test.

pins python-llfuse version to 0.41.1 for fpm on all platforms

8206: Refactor _retry to RetryMixin.  Make retry timing consistent.

8005: Install guide suggests slurm-munge on Red Hat SLURM nodes.

This package includes the SLURM plugins that talk to MUNGE.
Refs #8005.

6702: Catch GCE create_node() errors and check if the node was actually
created.  Added test.

8014: Remove more upgrade script references from install guide.

The steps removed are now handled by Rails package postinst scripts.
This should've been done in 378a988bbf9e29736382339f587582259b641782,
but was overlooked.  Refs #8014.

Refresh Gitolite install guide.

* Tested instructions still work with 3.6.4.  So noted.
* Prefer cloning Gitolite over HTTPS, since that's less likely to be
  firewalled.

No issue #.

Fix install doc rendering of API Nginx config.

<notextile> doesn't actually nest like proper HTML, it's just a
boolean that remembers the last state.  Turn it back on after doing an
include that turns it off.  No issue #.

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Merge branch '8005-centos-3rdparty-installs-wip'

Closes #8005, #8135.

8005: Add tar Ruby build dependency on CentOS 6.

8005: Install guide uses runit packages on Red Hat.

The runit RPMs only provide /etc/service.  The .debs provide /etc/sv
and /etc/service.  Our understanding is that /etc/sv is for all
service definitions (akin to /etc/init.d), and /etc/service is for
service definitions that runit should start at boot (akin to
/etc/rcN.d).  To provide uniformity, our install guide instructs users
to make /etc/sv if needed, and link it to /etc/service.

This commit could go farther.  Today it would be best if all the runit
sections in the install guide followed Tom's modern template used for
arv-git-httpd and arvados-docker-cleaner.  However, that will probably
require some creation and testing of log/run scripts, and some
adaptation of the run scripts to fit the template.  I wish I could
include those improvements now, but unfortunately I'm out of time, so
they'll have to wait for another day.

8005: Install guide gets SLURM and MUNGE from RPMs.

8005: Fix bad Textile markup in compute node install guide.

The switch dashes created strikethrough for much of the notebox.

8005: Document installing Git on CentOS 6 from RepoForge.

8005: DRY up PostgreSQL password auth instructions on CentOS 6.

Make our API server packages for debian-based distributions depend on
libcurl-ssl-dev rather than libcurl4-openssl-dev.

No issue #

closes #8198
Merge branch '8198-node-ip-address'

Merge branch 'master' into 8198-node-ip-address

refs #8178
Merge branch '8178-keepstore-trash-interface'

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/handlers.go
services/keepstore/volume_test.go

8178: untrash should fail when ErrNotImplemented is returned.

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8206: Add test to support retry on create_driver.

Merge branch '8123-crunchstat-graphs' closes #8123

8123: Escape HTML chars in page title.

8206: Refactor _retry into common function wrapper usable by both dispatch and
compute drivers.

8123: Explain existing_constraints and use a proper instance variable.

8123: Fix accidental old-style class.

8123: Fix type check to accommodate unicode.

8123: Use -v,-vv instead of --verbose,--debug.

8123: Change --include-child-jobs to --skip-child-jobs (default False).

8123: Explain mysterious memory constraint logic.

8123: Update test dependencies.

8123: Include chartjs.js in package.

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/azure_blob_volume.go
services/keepstore/handler_test.go
services/keepstore/handlers.go
services/keepstore/keepstore.go
services/keepstore/s3_volume.go
services/keepstore/volume_test.go
services/keepstore/volume_unix.go

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8198: consider X-Forwarded-For header by way of request.repote_ip while setting node ip address.

Fix python sdk tests refs #6833

Merge branch '8281-arv-mount-retry' closes #8281

Merge branch '6833-test-token-expiry' closes #6833

Merge branch '7846-magic-invalidate-entry' closes #7846

8281: Limit # write threads to #copies remaining, not #copies total.

8281: Fix KeepClient retry bugs.

get() and put() were both handling all Curl exceptions -- including
timeouts -- by marking the keep service as unusable. For example, if a
single proxy is the only service available, a single timeout was
fatal. This is fixed by setting the retry loop status to None instead
of False after curl exceptions.

put() was repeating its retry loop until it achieved the desired
number of replicas _in a single iteration_. For example, when trying
to store 2 replicas, 6 loop iterations with a single success in each
iteration would result in 6 copies being stored but put() declaring
failure. This is fixed by checking against a cumulative "done" counter
instead of the "copies done in this loop iteration" counter.

8281: Fix arv-mount ignoring --retries argument when writing file data.

"num_retries" arguments get passed around extensively in arvfile.py
and collection.py in the Python SDK, but ultimately the writing of
file data is done by a _BlockManager which doesn't have any way to
accept that argument or pass it along to a KeepClient, so PUT requests
always use the CollectionWriter's KeepClient's default num_retries.

In arv-mount's case, we have been telling CollectionWriter the
num_retries we want. When CollectionWriter creates a KeepClient,
num_retries gets passed along -- normally this works around the fact
that num_retries gets lost by the _BlockManager layer. However, we
provided our own KeepClient to use instead of letting CollectionWriter
create one, and we forgot to set num_retries on our own KeepClient, so
we weren't retrying PUT requests.

6833: Test setting small blobSignatureTtl.  Fix earlier fix.

6833: Test to confirm that enabling polling on CollectionDirectory causes
tokens to be refreshed.

6833: Collection update file block list (to get most recent tokens) even when actual
content hasn't changed.

6833: Add (most of) a test case for token expiry.

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

Merge branch '8008-package-testing' refs #8008

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

7846: Better directory entry invalidation, fixes MagicDirApiError test.  Also
fix bug in typo in exception handler.

refs #6833
Merge branch '6833-arv-mount-cache-refresh'

6833: get blobSignatureTtl from discovery document and use it to set the poll_time.

6833: add poll_time to CollectionDirectory.

Fix typo.

refs #8248

closes #8028
Merge branch '8028-crunch-dispatch-local'

8028: Update the stub based test to use waitGroup.Wait() instead of sleep.

8028: In runningCmds loop, no need to wait for process termination.

8028: add command to waitGroup during run method itself; not during signal handling.

8028: when a signal is received, terminate all running commands and wait in a WaitGroup.

8028: add signal handling to dispatcher.

8028: After getting list of Queued containers, instead of looking for containers.ItemsAvailable, look for len(containers.Items)

8028: crunch-dispatch-local implementation

Merge branch '8248-explain-serialize'

closes #8248

Doc improvement: explain in more detail what the -serialize argument to
keepstore does.

closes #8248

Merge branch '7816-crunch2-exec' closes #7816

8123: Ignore crunchstat "caught signal:" log.

Merge branch '8177-keep-web-trust-all-content-flag' closes #8177

8177: Offer -trust-all-content option for no-wildcard installs.

Add alert about XSS on intranet sites.

7816: CopyReaderToLog renamed to ReadWriteLines.  Use Writer instead of Logger
to avoid unnecessary copy.

8177: Expand trust_all_content comments.

Skip whole check_uri block when trust_all_content.

Fix test name.