4670: Add a post-create hook to Node Manager for EC2 tagging.

The previous code was relying on the post-create tagging in libcloud's
EC2 driver.  Unfortunately, that's not working out too well for us: if
it fails, you get no indication of that, and it doesn't get retried.
This moves the work up into Node Manager, where failures can be logged
and retried appropriately.

The retry support may be sufficient to resolve #4670.  If it's not,
then the additional logging will help us track down the root cause.

4670: Node Manager handles more libcloud exceptions.

libcloud compute drivers (at least EC2 and GCE) raise bare Exceptions
when there's some problem talking to the cloud service.  The previous
code was expecting to see a LibcloudError, so it wouldn't handle these
errors as intended.

I didn't want to just catch errors with "except Exception" everywhere,
so I added an is_cloud_exception class method to our driver classes to
more accurately identify exceptions that represent trouble talking to
the cloud service.  It recognizes exact Exceptions, plus the other
classes we were catching before.

While I was at this, I gave more specific names to the wrapper methods
in compute node actor decorators, as a debugging aid.

closes #4476
closes #4804
Merge branch '4476-search-next-page-issue'

closes #4799
Merge branch '4799-move-selected-error'

refs #4754
Merge branch '4754-performance-benchmarks'

Merge branch 'master' into 4754-performance-benchmarks

4804: search dialog retains project_uuid param in next_page_href.

4476: include filters in search next_page_href url.

4799: do not offer "move selected" option when current user cannot write to the project.

4027: Document arvados_sdk_version's virtualenv requirement.

Refs #4027.

4754: add command to be used to run diagnostics testing as a comment.

4754: update assertion to look for a data-object-uuid

4754: support RAILS_ENV=performance

Merge branch 'master' into 4754-performance-benchmarks

Merge branch '4499-one-task-per-input-file-normalize'

Fixes #4499.

Download bwa and samtools from a self-hosted mirror, sf.net downloads
are way too unreliable.

No issue #

Merge branch '4293-node-manager-timed-bootstrap-wip'

Closes #4293, #4732.  Refs #4380.

4293: Node Manager shuts down nodes that fail to boot.

This helps Node Manager detect and correct when a node fails to
bootstrap.

4380: Node Manager SLURM dispatcher proceeds from more states.

Per discussion with Ward.  Our main concern is that Node Manager
shouldn't shut down nodes that are doing work.  We feel comfortable
broadening the definition of "not doing work" to this set of states.

Merge branch '3781-browser-upload' closes #3781

3781: Fix test that assumes only one empty collection is readable.
Wait longer for browser timeout in upload-fail test.

3781: Merge branch 'master' into 3781-browser-upload

4754: move search test into browsing_test.rb instead of having its own file.

4754: search_test assertions

3781: Add singletest function.

3781: Add test cases: empty files, renaming, and error reporting.

4754: add rails-perftest and ruby-prof gems to enable performance benchmarking and add search_test.rb

4499: Normalize manifest in one_task_per_input_file

* arvados.job_setup.one_task_per_input_file now calls cr.normalize()
  before creating tasks.

* Added unit test in test_sdk.py to confirm that the expected number of
  tasks are created when called on a normalized manifest.

4027: Update arvados-cli in API server bundle.

Refs #4027.

Merge branch '4027-crunch-sdk-install-wip'

Closes #4027, #4667.

4027: crunch-job logs its own version information.

By request in code review, to help detect situations where
crunch-dispatch and crunch-job are out of sync.

4027: Crunch installs jobs' requested arvados_sdk_version.

* crunch-dispatch fetches the requested SDK version into its internal
  git repository, just like it does for the Crunch script.  Refactored
  crunch-dispatch to make that code reusable.

* crunch-job's main script archives the sdk subdirectory as of that
  commit, sending it along to compute nodes in the same .tar as the
  Crunch script, under .arvados.sdk.

* crunch-job's __DATA__ dispatch section looks for the SDK under
  .arvados.sdk, and installs it as much as possible.

Since I was messing with it so much already, I changed the semantics
of crunch-job's __DATA__ section: it is now either in installation
mode or run mode, based on whether there's anything in @ARGV.  I
confirmed that this is consistent with current calls to the section.

4027: arvados/jobs includes virtualenv.

This lets you use the arvados/jobs image with the arvados_sdk_version
feature of Crunch.

4027: Bugfix update-gitolite.rb in Docker.

* Load a YAML library.

* Support ARVADOS_API_HOST_INSECURE, and set it in normal Docker use.

4027: Revamp SSH use in our Docker images.

* Don't install or run SSH in most of our Docker images.  `docker
  exec` is now preferred to inspect running images.

* Do run SSH on the API server, always, for Gitolite.

There is a feature regression here: the user's SSH key is not
automatically installed on the shell account.  This needs to be fixed
another way.  In the meantime, it's not difficult to run
`docker exec -ti --user=self shell /bin/bash`, and you can clone the
repository from the host system.

3781: Fix trigger() usage: second argument is an array of handler args.

3781: Fix progress% (100, not NaN) and manifest format (>=1 data locator) for zero-byte files.

Merge branch '4269-no-collection-uuid-in-script-params'

Refs #4269.

4269: clean up uuid regex matching

Code review feedback:

* Improved name for validation "no_collection_uuids" to
  "ensure_no_collection_uuids_in_script_params"

* Added ArvadosModel.uuid_regex (along the lines of uuid_like_pattern)
  and substituted it for hardcoded uuid regexes throughout the code.

closes #4477
closes #4719
Merge branch '4477-no-job-log'

3781: Go to "Done!" state when the last upload completes despite a late call to stop().

3781: Fix use of committed flag. That is now called state==="Done".

3781: Fix exaggerated claims of being finished.

3781: Merge branch 'master' into 3781-browser-upload

Reset listener=nil before running main() from test cases, so
waitForListener() does not get confused by listener!=nil left over
from previous tests. Fixes intermittent test failures.

refs #3828

4533: Wait up to 10s for "lock tables". refs #4533

3781: Update tests.

3781: Merge branch 'master' into 3781-browser-upload

3781: Add ng-cloak style.

3781: Add Uploaded state, fix handling of Pause during appendToCollection.

3781: Do not portray "stopped" state as an error if it was reached by clicking Pause.

3781: Tweak link text. Remove redundant title attributes.

Merge branch '4156-no-gemfile-lock-for-gem' refs #4156

4533: Lock all tables, not just the ones with fixtures. refs #4533

3781: Fix more {==,!=} -> {===,!==}.

Merge branch '4314-trigger-job-update' closes #4314

closes #4559
Merge branch '4559-long-component-names'

4559: missing quote

Merge branch 'master' into 4559-long-component-names

closes #4638
Merge branch '4638-ssh-notification'

Merge branch 'master' into 4638-ssh-notification

4638: update test to reflect link text change.

closes #4638
Merge branch '4638-ssh-notification'

4638: update link text

Merge branch 'master' into 4638-ssh-notification

4465: Link to arvados.org revision history instead of github.com code view.

Also, remove spurious helper inclusions, and fix 'locally modified'
detection (it was broken because "" is truthy).

refs #4465

3781: One less Regexp.

3781: Use regexp instead of split: avoid making big arrays when working on big manifests.

4269: added job validation forbidding collection uuids

Added Job validation no_collection_uuids, searching recursively through
script_parameters for any field matching a collection uuid pattern.

4719: change "There are currently no job in the queue" to "your" queue.

4477: don't crash on no job log

3781: Fix push-to-bottom-when-Done so it works on the last item, too.

closes #4525
closes #4694
Merge branch '4525-remove-stale-clippy-code'

3781: Fix up dropdown: match appearance of other buttons, tweak wording,
remove min-width style (which was added for clippy, but has been
affecting all dropdowns).

4525: when dataclass is Class, return attrvalue similar to the Array case.

4525: delete assets/stylesheets/selection.css

3781: Use $.each for simple loops.

3781: Deobfuscate.

3781: Use ===, !== instead of ==, !=

3781: Fix error message, and add actual error detection.

4525: link_to to be used when dataclass is a String or Fixnum

3781: Fix up comments.

3781: Disable start button when there is nothing to do.

3781: Report as KiB instead of K.

4525: keep link_to in application_helper, which will be used when attr value is a String or Fixnum etc

4525: remove add_form_selection_sources (one more time) and all references.

3781: Merge branch 'master' into 3781-browser-upload

Conflicts:
apps/workbench/app/assets/javascripts/application.js
apps/workbench/app/views/projects/show.html.erb

Merge branch 'master' into 4525-remove-stale-clippy-code

Merge branch '4465-workbench-version-links'

Fixes #4465.

4465: add trailing /? to regexes

Per code review @ #4465-7

4465: test for regex link targets

The goal of this story is that the "report issue" dialog includes links
to a Github or Redmine page corresponding to the software versions for
Workbench and the API server, so the test should ensure not just that
there's a link with a given text, but that its target is a Github page
corresponding to a hexadecimal commit hash.

4465: added api_version_text helper.

Per code review: the source_version returned in the discovery document
may include the string "-modified" if the API server is running from a
locally modified repository.  The api_version_link that we generate for
this version must take that into account.

Touch the "crunch_refresh_trigger" file when the state changes.  This notifies
all crunch-job instances to check the cancelled and state flags, so if a
running job changes state unexpectedly, it will be treated as a cancellation. refs #4314

4533: Fix wrong lock mode. refs #4533

4525: remove select_form_sources function

Merge branch '4525-remove-stale-clippy-code-TC' into 4525-remove-stale-clippy-code

4525: restore add_form_selection_sources function

4525: Call enable_disable_selection_actions once per container to
avoid crosstalk between containers.

Also, separate event binding setup from enable/disable hook, and avoid
binding many copies of the selection dispatch click handler.

Merge branch '4533-lock-tables-first' refs #4533

Update version pin of arvados-cli gem.  refs #3698