8183: show only toplevel projects in the Projects dropdown in breadcrumbs.

Unpins llfuse version and adds fuse 2.9.2 backport

Make install guide slurm.conf more Arvados-compliant.

* SelectType=select/linear allocates entire nodes at a time.  The
  previous value scheduled individual cores.
* With that change, SelectTypeParameters=CR_CPU_Memory is not valid.
  Remove it, as we do in production.
* The setting of FastSchedule seems less pressing, but 0 is what we
  use in production, so share that here too.

No issue #.

Try to make logging identify the actor consistently

Merge branch '6702-gce-node-create-fix' closes #6702

Inhibit udev startup in Debian test Docker images.

The FUSE driver package depends on fuse, which depends on udev.
udev can't start its daemon from postinst in a container.
It has code to try to detect running in a container and skip the
daemon, but it fails intermittently.
e.g., <https://ci.curoverse.com/job/build-packages/1699/consoleFull>
It also skips starting the daemon when /etc/udev/disabled exists, so
create that.

Merge branch '8288-arv-mount-deadlock' refs #8288

8288: Do not call operations.destroy() as a last resort, just abandon the llfuse thread.

8288: Add test case for --exec mode.

8288: Give fusermount -u a chance to work before resorting to operations.destroy().

Log a warning when resorting to operations.destroy().

De-duplicate setup/teardown code so more of the --exec code path is exercised in tests.

8123: Install chartjs.js asset file.

...during "setup.py install" too, not just when installing via
package.

refs #8123

.deb dependencies from Python packages ignore iteration.

See comment for rationale.
Inspired by <https://github.com/curoverse/arvados/pull/35>.
No issue #.

Improve install guide Nginx+SCL integration.

No issue #.

login-sync gets user's home from /etc/passwd.

No issue #.

Workbench loads CA certs on Red Hat.

This has the same rationale and logic as #6432 and
9b910084faf3db6fa2071af604620e7d45d12a6c, applied to Workbench.

Changing from `/etc/ssl/certs` to `/etc/ssl/certs/ca-certificates.crt`
is safe, because add_trust_ca accepts either a directory with hashed
certs, or a file with multiple certs.  On Debian, the latter path is a
single file built from the hashed certs in the former, so this is
functionally identical there, and more predictable on Red Hat (where I
don't know what it's doing).

No issue #.

Add fuse dependency to FUSE driver package.

When the fuse tools aren't installed, attempting to run arv-mount
fails with "fuse: failed to exec fusermount".

No issue #.

Add curl library dependency to shell install guide.

No isse #.

SLURM install guide notes slurm.conf path on Red Hat.

No issue #.

Add missing ; in keepproxy Nginx config.

No issue #.

8286: add "star" route for projects. Update projects dropdown in breadcrumbs to display only starred projects instead of all my_projects.

6702: Refactor create_node to BaseComputeNodeDriver so logic also applies to
Azure.  Adds new find_node() method; if returns None or raises an error,
re-raise the original create_node exception.

Merge branch '6702-gce-node-create-fix' closes #6702

Merge branch 'fix/build-python-llfuse-version' of https://github.com/wtsi-hgi/arvados
no issue #

Merge branch 'master' into 6702-gce-node-create-fix

Merge branch '8206-gce-retry-init' closes #8206

8206: Mock time.sleep() to avoid unnecessary delay in test.

pins python-llfuse version to 0.41.1 for fpm on all platforms

8206: Refactor _retry to RetryMixin.  Make retry timing consistent.

adds numerous crunch-job performance improvements

8005: Install guide suggests slurm-munge on Red Hat SLURM nodes.

This package includes the SLURM plugins that talk to MUNGE.
Refs #8005.

6702: Catch GCE create_node() errors and check if the node was actually
created.  Added test.

8014: Remove more upgrade script references from install guide.

The steps removed are now handled by Rails package postinst scripts.
This should've been done in 378a988bbf9e29736382339f587582259b641782,
but was overlooked.  Refs #8014.

Refresh Gitolite install guide.

* Tested instructions still work with 3.6.4.  So noted.
* Prefer cloning Gitolite over HTTPS, since that's less likely to be
  firewalled.

No issue #.

Fix install doc rendering of API Nginx config.

<notextile> doesn't actually nest like proper HTML, it's just a
boolean that remembers the last state.  Turn it back on after doing an
include that turns it off.  No issue #.

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Add distinct fpm_exclude so it shows up in the right place on the fpm command
line.  refs #8008

8319: Fixes to run bcbio-nextgen CWL workflow.  Now creates pipeline instance
so that progress is visible on workbench.

Merge branch '8005-centos-3rdparty-installs-wip'

Closes #8005, #8135.

8005: Add tar Ruby build dependency on CentOS 6.

8005: Install guide uses runit packages on Red Hat.

The runit RPMs only provide /etc/service.  The .debs provide /etc/sv
and /etc/service.  Our understanding is that /etc/sv is for all
service definitions (akin to /etc/init.d), and /etc/service is for
service definitions that runit should start at boot (akin to
/etc/rcN.d).  To provide uniformity, our install guide instructs users
to make /etc/sv if needed, and link it to /etc/service.

This commit could go farther.  Today it would be best if all the runit
sections in the install guide followed Tom's modern template used for
arv-git-httpd and arvados-docker-cleaner.  However, that will probably
require some creation and testing of log/run scripts, and some
adaptation of the run scripts to fit the template.  I wish I could
include those improvements now, but unfortunately I'm out of time, so
they'll have to wait for another day.

8005: Install guide gets SLURM and MUNGE from RPMs.

8005: Fix bad Textile markup in compute node install guide.

The switch dashes created strikethrough for much of the notebox.

8005: Document installing Git on CentOS 6 from RepoForge.

8005: DRY up PostgreSQL password auth instructions on CentOS 6.

8319: Fix arv-cwl-runner file references when referencing files in Keep.

Use volumes for /var/log/nginx and /etc/ssl/private so that changing ownership
sticks. refs #8080

Use volumes for /var/log/nginx and /etc/ssl/private so that changing ownership
sticks. refs #8080

Make our API server packages for debian-based distributions depend on
libcurl-ssl-dev rather than libcurl4-openssl-dev.

No issue #

Arvbox fixes: use 'postgres' database when testing if a user exists.  Copy
gitolite.rc to the right place.  Print out what is being deleted when using
"reset" or "destroy". refs #8080

Arvbox fixes: use 'postgres' database when testing if a user exists.  Copy
gitolite.rc to the right place.  Print out what is being deleted when using
"reset" or "destroy". refs #8080

chown /etc/ssl/private to arvbox refs #8080

chown /etc/ssl/private to arvbox refs #8080

Bump iteration of rails packages to -4 refs #8008

Fix selecting most recent package for package testing, refs #8008.

closes #8198
Merge branch '8198-node-ip-address'

Merge branch 'master' into 8198-node-ip-address

refs #8178
Merge branch '8178-keepstore-trash-interface'

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/handlers.go
services/keepstore/volume_test.go

8178: untrash should fail when ErrNotImplemented is returned.

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8008: Make dependencies for build-dockerfiles.

We've apparently never had code to do this before.  I guess all
deployments had the dependencies generated by hand before running.
This makes them automated to fix failures like
<https://ci.curoverse.com/job/build-packages/1668/console>.
Refs #8008.

8206: Add test to support retry on create_driver.

Merge branch '8123-crunchstat-graphs' closes #8123

8123: Escape HTML chars in page title.

8206: Refactor _retry into common function wrapper usable by both dispatch and
compute drivers.

Fix markdown for arvbox README.md refs #8080

Fix markdown for arvbox README.md refs #8080

Add "status" command, refs #8080

Add "status" command, refs #8080

Just create arvbox superuser instead of creating a whole useless database.
Check directly whether creating the arvbox is required. refs #8080

Just create arvbox superuser instead of creating a whole useless database.
Check directly whether creating the arvbox is required. refs #8080

8123: Explain existing_constraints and use a proper instance variable.

8123: Fix accidental old-style class.

8123: Fix type check to accommodate unicode.

8123: Use -v,-vv instead of --verbose,--debug.

8123: Change --include-child-jobs to --skip-child-jobs (default False).

8123: Explain mysterious memory constraint logic.

8123: Update test dependencies.

8284: Fix confusion between %proc and %jobstep.

$proc{$pid}->{jobstep} is an index into @jobstep
$proc{$pid}->{jobstepname} is the name we told srun to use
$proc{$pid}->{killtime} is a deadline when we should kill the process
$jobstep[$jobstepid]->{stderr_at} is the time of last stderr received

We were mistakenly using $proc->{$pid}->{stderr_at}, which was always
undef and therefore always less than $last_squeue_check. This resulted
in jobs being killed as "slurm orphans" when the real reason they
hadn't been returned by waitpid() was that we hadn't finished
consuming their stderr yet.

8123: Include chartjs.js in package.

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/azure_blob_volume.go
services/keepstore/handler_test.go
services/keepstore/handlers.go
services/keepstore/keepstore.go
services/keepstore/s3_volume.go
services/keepstore/volume_test.go
services/keepstore/volume_unix.go

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages, take 2: make sure that
config/database.yml *is* present in our workbench packages, where we
want to include it.

No issue #

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

Merge branch '8066-git-init-from-postinst'

closes #8066

Some review fixes.

closes #8066

Merge branch 'master' into 8066-git-init-from-postinst

7263: Avoid getting stuck processing stderr for one task for a long time.

Do not sleep(0.1) unless pipes are idle.

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8198: consider X-Forwarded-For header by way of request.repote_ip while setting node ip address.

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages.

No issue #

Bump libcloud package version pin to 0.20.2dev1 refs #8235

Fix python sdk tests refs #6833

Merge branch '8281-arv-mount-retry' closes #8281

Merge branch '6833-test-token-expiry' closes #6833

Merge branch '7846-magic-invalidate-entry' closes #7846

8281: Limit # write threads to #copies remaining, not #copies total.