Merge branch 'master' into 8286-fav-projects

Pin PySDK's gflags dependency to <3.0.

We've built and tested with 3.0 successfully, but its ChangeLog says:

  * A lot of potentially backwards incompatible changes since 2.0.
  * This version is NOT recommended to use in production. Some of the files and
    documentation has been lost during export; this will be fixed in next
    versions.

We found out about this after 3.0.2 broke our tests.
Take their advice for now.  No issue #.

Merge branch 'master' into 8286-fav-projects

Merge branch '8341-crunchstat-job-time-axis'

8341: Fall back to live logs if log collection is saved but missing.

8341: Update test results.

8341: Retrieve only the log attributes that actually get used.

8341: In pipeline mode, process all jobs concurrently.

8341: Include Keep network activity in net stats.

8341: Fix up debug labels. Avoid deadlock after exceptions in thread.

8341: Do not round up Y axis to even numbers, just use max series value.

Remove Y axis labels (so X axis matches other graphs from the same
job), add grid lines.

8341: Use "time since job start", not "time since task start", as X axis.

Merge branch '8284-fix-slurm-queue-timestamp-check' closes #8284

Emit log when installing docker image.

Avoids creating the illusion that "clean work dirs" is taking forever.

No issue #

Merge branch '7263-better-busy-behavior' refs #7263

7263: Avoid getting stuck processing stderr for one task for a long time.

Do not sleep(0.1) unless pipes are idle.

crunch-job detects more "io aborted" SLURM errors.

It's seemingly random whether SLURM reports "Aborting, io aborted and
missing step" or "Aborting, missing step and io aborted".  Extend the
regexp to catch both.  No issue #.

Merge branch '8406-tempfail-after-retry-unlocked'

Closes #8406, #8407.

8406: Update comment to match new code.

8406: @job_retry_counts.include? jobrecord.uuid because @job_retry_counts has a default value.

8406: Treat EXIT_TEMPFAIL as EXIT_RETRY_UNLOCKED if we have previously gotten
EXIT_RETRY_UNLOCKED (because the job is now in "Running" state.)

I "fonud" a typo

no issue #

Merge branch '8404-catch-interrupted-syscall' closes #8404

8404: Adjust try block to just surround os.wait().

8404: catch and continue from interrupted system call from os.wait()

Fix nodemanager test race. No issue #

Merge branch '8341-live-crunchstat-summary' refs #8341

8341: Use a Queue of lines and one thread, instead of a succession of threads and a deque of buffers.

8341: Move reader classes to reader.py.

8341: Use a worker thread to get page N+1 of logs while parsing page N.

8341: Get job log from logs API if the log has not been written to Keep yet.

Merge branch '8289-no-extra-orders' closes #8289

8289: Strip redundant orders, even when provided explicitly by client.

8289: Do not add fallback orders if client already specified an unambiguous order.

Merge branch '7667-node-manager-logging' refs #7667

7667: Store node size in a table so to avoid blocking on booting and shutdown
actors to ask node size.

7667: Fix log message

Merge branch '8285-fuse-subscribe-websockets' closes #8285

8285: Test that arvados.events.subscribe() is called only when needed.

Add missing TagsDirectory.want_event_subscribe().

8285: Add test for listen_for_events

8285: Add want_event_subscribe flag to subclasses of fusedir.Directory,
determine whether to call listen_for_events based on it.

7667: Combine polling logs into fewer lines for less noise.  Adjust message
when last_ping_at is unexpectedly none to be less severe (can happen in
innocent circumstances).  Report nodes in "booted" list as "booting" since they
are unpaired.  Fix tests.

7868: Update API server's arvados-cli version.

Curoverse clusters are deployed by setting CRUNCH_JOB_BIN,
effectively excluding it from the bundle, but this is not true for
clusters deployed following the install guide.  Out of the box,
they'll use the version of crunch-job that's actually in the
arvados-cli gem in the bundle.

crunch-dispatch has functionality in it that requires a newer
arvados-cli, so update accordingly.  This is not exactly the version
produced by #7868, but it's pretty close.

I think there's a strong case that we should update this version
whenever we make a substantial change to crunch-job.  But since I'm
pushing this without discussion or review, I'm doing the smallest
thing possible.

Refs #7868.

7667: Node manager bug fixes and logging improvements.

 * ComputeNodeSetupActor will now finish if there is an unhandled exception.

 * ComputeNodeMonitorActor now explains why a node that is in the shutdown window
is not eligible for shutdown.

 * Logging in nodes_wanted now distinguishes idle/busy/booting/shutting down.

 * Logging by actors is now class name and a portion of the actor urn, so actions
of a specific actor can be consistently identified.

Recognize another way slurm tells us about node failures.

Retry, instead of giving up, in situations like this:

2016-02-02_08:42:26 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: error: Aborting, io error and missing step on node 0
2016-02-02_08:42:26 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: Job step aborted: Waiting up to 2 seconds for job step to finish.
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: error: Timed out waiting for job step to complete
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 child 42984 on compute26.1 exit 0 success=
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 ERROR: Task process exited 0, but never updated its task record to indicate success and record its output.
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 failure (#1, permanent) after 560 seconds
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 task output (0 bytes):

No issue #

Merge branch '8288-poll-client-close-timeout' refs #8288

8288: Add timeout option to close() method of event clients.

Previously in EventClient, close() didn't wait for anything. Now, if a
timeout is given, it waits for ws4py to call the closed() callback to
indicate the connection has closed.

Previously in PollClient, close() waited indefinitely for the polling
thread to terminate.  This can take a very long time if, for example,
there are multiple subscriptions and the "get logs" API transaction is
slow.

The only apparent reason a caller would want to wait here at all is to
guarantee the simplifying assumption the on_event() callback is never
called after close().  Now, instead of letting the thread run until
all events are received and handled, PollClient achieves this the same
way EventClient does: ignore events that arrive after close().

Make install guide slurm.conf more Arvados-compliant.

* SelectType=select/linear allocates entire nodes at a time.  The
  previous value scheduled individual cores.
* With that change, SelectTypeParameters=CR_CPU_Memory is not valid.
  Remove it, as we do in production.
* The setting of FastSchedule seems less pressing, but 0 is what we
  use in production, so share that here too.

No issue #.

Try to make logging identify the actor consistently

Merge branch '6702-gce-node-create-fix' closes #6702

Merge branch '8288-arv-mount-deadlock' refs #8288

8288: Do not call operations.destroy() as a last resort, just abandon the llfuse thread.

8288: Add test case for --exec mode.

8288: Give fusermount -u a chance to work before resorting to operations.destroy().

Log a warning when resorting to operations.destroy().

De-duplicate setup/teardown code so more of the --exec code path is exercised in tests.

8123: Install chartjs.js asset file.

...during "setup.py install" too, not just when installing via
package.

refs #8123

Improve install guide Nginx+SCL integration.

No issue #.

login-sync gets user's home from /etc/passwd.

No issue #.

Workbench loads CA certs on Red Hat.

This has the same rationale and logic as #6432 and
9b910084faf3db6fa2071af604620e7d45d12a6c, applied to Workbench.

Changing from `/etc/ssl/certs` to `/etc/ssl/certs/ca-certificates.crt`
is safe, because add_trust_ca accepts either a directory with hashed
certs, or a file with multiple certs.  On Debian, the latter path is a
single file built from the hashed certs in the former, so this is
functionally identical there, and more predictable on Red Hat (where I
don't know what it's doing).

No issue #.

Add fuse dependency to FUSE driver package.

When the fuse tools aren't installed, attempting to run arv-mount
fails with "fuse: failed to exec fusermount".

No issue #.

Add curl library dependency to shell install guide.

No isse #.

SLURM install guide notes slurm.conf path on Red Hat.

No issue #.

Add missing ; in keepproxy Nginx config.

No issue #.

8286: add "star" route for projects. Update projects dropdown in breadcrumbs to display only starred projects instead of all my_projects.

6702: Refactor create_node to BaseComputeNodeDriver so logic also applies to
Azure.  Adds new find_node() method; if returns None or raises an error,
re-raise the original create_node exception.

Merge branch '6702-gce-node-create-fix' closes #6702

Merge branch 'fix/build-python-llfuse-version' of https://github.com/wtsi-hgi/arvados
no issue #

Merge branch 'master' into 6702-gce-node-create-fix

Merge branch '8206-gce-retry-init' closes #8206

8206: Mock time.sleep() to avoid unnecessary delay in test.

pins python-llfuse version to 0.41.1 for fpm on all platforms

8206: Refactor _retry to RetryMixin.  Make retry timing consistent.

8005: Install guide suggests slurm-munge on Red Hat SLURM nodes.

This package includes the SLURM plugins that talk to MUNGE.
Refs #8005.

6702: Catch GCE create_node() errors and check if the node was actually
created.  Added test.

8014: Remove more upgrade script references from install guide.

The steps removed are now handled by Rails package postinst scripts.
This should've been done in 378a988bbf9e29736382339f587582259b641782,
but was overlooked.  Refs #8014.

Refresh Gitolite install guide.

* Tested instructions still work with 3.6.4.  So noted.
* Prefer cloning Gitolite over HTTPS, since that's less likely to be
  firewalled.

No issue #.

Fix install doc rendering of API Nginx config.

<notextile> doesn't actually nest like proper HTML, it's just a
boolean that remembers the last state.  Turn it back on after doing an
include that turns it off.  No issue #.

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Merge branch '8005-centos-3rdparty-installs-wip'

Closes #8005, #8135.

8005: Add tar Ruby build dependency on CentOS 6.

8005: Install guide uses runit packages on Red Hat.

The runit RPMs only provide /etc/service.  The .debs provide /etc/sv
and /etc/service.  Our understanding is that /etc/sv is for all
service definitions (akin to /etc/init.d), and /etc/service is for
service definitions that runit should start at boot (akin to
/etc/rcN.d).  To provide uniformity, our install guide instructs users
to make /etc/sv if needed, and link it to /etc/service.

This commit could go farther.  Today it would be best if all the runit
sections in the install guide followed Tom's modern template used for
arv-git-httpd and arvados-docker-cleaner.  However, that will probably
require some creation and testing of log/run scripts, and some
adaptation of the run scripts to fit the template.  I wish I could
include those improvements now, but unfortunately I'm out of time, so
they'll have to wait for another day.

8005: Install guide gets SLURM and MUNGE from RPMs.

8005: Fix bad Textile markup in compute node install guide.

The switch dashes created strikethrough for much of the notebox.

8005: Document installing Git on CentOS 6 from RepoForge.

8005: DRY up PostgreSQL password auth instructions on CentOS 6.

Make our API server packages for debian-based distributions depend on
libcurl-ssl-dev rather than libcurl4-openssl-dev.

No issue #

closes #8198
Merge branch '8198-node-ip-address'

Merge branch 'master' into 8198-node-ip-address

refs #8178
Merge branch '8178-keepstore-trash-interface'

Merge branch '8178-keepstore-trash-interface' of git.curoverse.com:arvados into 8178-keepstore-trash-interface

Conflicts:
services/keepstore/handlers.go
services/keepstore/volume_test.go

8178: untrash should fail when ErrNotImplemented is returned.

8178: (for now) all volumes must return ErrNotImplemented if trash-lifetime != 0

8178: All three currently supported volumes return error when trash-lifetime period is not configured. azure blob and s3 volumes are updated to do so.
Returning an error is causing test failures in unix volume and hence is still a work in progress.

8178: rename Delete api as Trash; add Untrash to volume interface; add UndeleteHandler and test for this endpoint.

8206: Add test to support retry on create_driver.

Merge branch '8123-crunchstat-graphs' closes #8123

8123: Escape HTML chars in page title.

8206: Refactor _retry into common function wrapper usable by both dispatch and
compute drivers.

8123: Explain existing_constraints and use a proper instance variable.

8123: Fix accidental old-style class.

8123: Fix type check to accommodate unicode.