4410: Crunch retries jobs when all SLURM nodes fail.

See the ticket for detailed background discussion and implementation
rationale, especially notes 13 and 14.

This required a couple of ancillary changes:

* crunch-job now makes a distinction between "task failed because a
  node failed," and "task failed for other temporary reason."  It uses
  this additional information to decide when it should retry tasks
  itself, and when it needs to give up and kick the problem up to
  crunch-dispatch.

* crunch-job now handles creating log collections itself from
  manifests generated by arv-put.  This enables it to append to logs
  generated during previous attempts to run the job.

4410: crunch-dispatch logs crunch-job exit later.

This makes it easier to log the exit code, and makes the logs look
nicer because the exit log doesn't interrupt crunch-job's stderr.

Merge branch '6320-api-logins-include-groups-wip'

Refs #6320.  Closes #6325.

6320: API virtual machines login method include groups information.

This is necessary for the virtual machine user setup script to see the
groups information added in #6254.

This required updating a few tests that assumed the active user had no
access to testvm2.

6320: Add tests for API virtual machines login method.

closes #6156
Merge branch '6156-hostnames-in-nodes'

6156: convert the ping-should-fail test when hostname config is malformed into a controller test.

Merge branch 'master' into 6156-hostnames-in-nodes

refs #6277
Merge branch '6277-manifest-validation-api'

6277: since locators are added to multilevel_collection_1 fixture, the collection retrieved after an update will have
a signed manifest; hence, the test needs to compare the old manifest with the new one after stripping signatures.

refs #6277
Merge branch '6277-manifest-validation-api'

6277: rename the before_validation filter check_manifest_validity as log_invalid_manifest_format until we are ready to actually validate manifest formats.

Merge branch 'master' into 6277-manifest-validation-api

6156: use only sprintf formatting for node slot_number config.

Merge branch 'master' into 6156-hostnames-in-nodes

6277: Simplify manifest-building loop, fix up truncation tests.

Merge branch '6272-index-eof' closes #6272

6272: Add blank line to indicate index response EOF. Error out of data manager if not received.

Do not blow up if HOME is not set. refs #2256

Merge branch '6222-precompile-regexps' refs #6222

6222: Precompile all regexps. Remove wasted effort in GetBlockHandler.

6156: support config format for setting a node's hostname

6277: Add check_manifest_validity before_filter in collection model; however, at the moment, this method always true after logging the validation error.

refs #6277
Merge branch '6277-manifest-validation'

Merge branch 'master' into 6277-manifest-validation

6277: all that work and missed the basic nil and empty string check!!!

closes #6254
Merge branch '6254-groups-during-setup'

refs #6277 : ruby sdk with manifest validation method
Merge branch '6277-manifest-validation'

6277: extra white space

Merge branch 'master' into 6277-manifest-validation

6254: minor update to Groups text field label to avoid conflict with 'Virtual Machine' lebel.

6254: better groups text field label

6254: instead of tooltip, use a self explanatory label for groups text field.

7254: add groups to vm link.

6254: remove redundant statement

6254: add groups and verify in test.

Merge branch '6149-quiet-egg-info-stderr-wip'

Closes #6149, #6284.

6149: crunch-job installer handles egg_info errors better.

Capture the command's stderr and confirm that the error refers to
git.  If it does, ignore the stderr and set a build tag.  Otherwise,
propagate stderr and abort.

6254: slight performance improvement where the can_login link is not retrieved and checked if the groups passed in are the same as those already saved.

6254: add "groups" to user setup process; these comma separated groups entered in the popup will be saved as an array of groups property for the user's can_login link.

6277: Catch whitespace errors, and "." and ".." in paths. Rename valid? to validate!.

6277: Add more restrictions to manifest format such as cannot start with '/' and end with '/' for file names,
as well as stream names and files names should not contain '//'.
Added the tests provided by Tom during review.

6277: valid manifest must end with new line.

6277: improve error message for missing file tokens.

6277: add Manifest::valid? method in ruby sdk.

Update arvados in bundle. refs #6203 refs #6277

Use default word wrap (no mid-word line breaks). refs #6057

Merge branch '6203-locator-regexp' refs #6203 refs #6277

added shell-image back again to the build. I checked on my local machine and works great

no issue #

5790: Fix PySDK Docker image listing comparing ints and datetimes.

Closes #5790.

Add instructions to the 'Create standard objects' page to create a cluster-wide readable project for standard Arvados Docker images.

refs #6096

closes #6203
Merge branch '6203-collection-perf-api'

Merge branch '6203-collection-perf-api-TC' of git.curoverse.com:arvados into 6203-collection-perf-api-TC

Conflicts:
services/api/app/models/collection.rb

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render (now 50s makes the test past.). no issue #

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render

no issue #

openssl self cert creation failed because missing of "tmp" directory.
api server failed to start because missing "tmp/logs" and "tmp/api" ditectories

no issue #

Merge branch '6235-go-sdk-discovery' closes #6235

Merge branch '5790-copy-most-recent-docker-image-wip'

Closes #5790, #6103.

5790: Improve Docker image listing in Python SDK.

* Always fetch all relevant Docker links.
* Support finding images by image hash.
* Show image hashes when listing images by name.
* Like Docker itself, when an image has multiple names and we're not
  filtering by name, list each one.
* Better match the API server's priority logic:
  * Ignore links to collections that aren't found.
  * Links with an image_timestamp always have priority over those that
    don't, regardless of their respective created_at timestamps.

The main motivation for this change is to make sure arv-copy gets the
right Docker image when copying a pipeline template recursively.

This implementation goes through some trouble to parse timestamps out
of each Docker link only once.

Merge branch '6152-compute-node-no-arv-wip'

Closes #6152, #6256.

6152: Use Python SDK for compute node installation.

This eliminates an otherwise-needless dependency on `arv` and the
entire Ruby stack.

closes #6093
Merge branch '6093-refresh-docs'

6093: remove "Alternate way to add SSH keys" and add the "Manage account" link blurb to "Adding your keys" section itself.

6203: Fix loophole allowing locators in bogus manifests to be accepted
without verification and then signed in responses. refs #6277

6203: Add tests for LOCATOR_REGEXP. Fix regexp to reject "++" and trailing "\n".

Merge branch 'master' into 6093-refresh-docs

6203: Accept (and discard) hints in client-provided portable_data_hash.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6235: Discovery() returns the requested value directly instead of a single-entry map.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6203: Use faster =~ instead of match.

6203: Fix cheating test.

6203: Use each_line instead of split.each.

6203: Remove redundant split before each_line.

6203: Apply special case only to a 0-byte manifest: don't ignore white space.

6203: Eliminate unneeded variable.

6203: Merge pdh validations into one method. Update comments. Add tests.

6203: Use LOCATION_REGEXP from sdk; also add back updated each_manifest_locator method
with the same updates as munge method since this is simpler than the munge method. This
has seems further improved performance.

6203: Use manifest.each_line and line.rstrip! instead of manifest.split("\n").
Performance was comparable in both cases; though each_line itself is twice as fast (we need to do strip, which eats away the gain).

6203: further optimization of munge method; also, match[0].sub(/\+A[^+]*/, '') instead of split+append
resulted in another 2 seconds saving in each of create and update operations!

6203: compute_pdh, computed_pdh etc etc etc confusion. clean up to make it easier to follow.

6203: Benchmarking revealed that regexp.match(string) is 2.5x more expensive than string =~ regexp. Updated check_signatures method accordingly.

Merge branch 'master' into 6203-collection-perf-api

bundler 1.10 brakes workbench build because

https://github.com/lucasefe/themes_for_rails/blob/master/themes_for_rails.gemspec

has a bug. And it's a NOTICE in 1.9.9 but its a FATAL in 1.10.x

this is our workaround.

no issue #

Merge branch '6146-log-squeue-lost-tasks' refs #6146

6146: Document how --steps really works. Simplify squeue output format and parsing.

Merge branch '6074-collections-index' closes #6074

Merge branch 'master' into 6093-refresh-docs

6093: Add button-override css to make any buttons added inside the documentation to appear unclickable to avoid any confusion.

6203: Corrected one dumb switched order of if conditions that caused 5s lag!!

Merge branch 'master' into 6203-collection-perf-api

6087: Fix MissingAttribute check, and change it to a debug warning for now
because it reveals too many bugs. refs #6087

6087: Fix MissingAttribute firing for new records during changes_applied. refs #6087

Merge branch 'master' into 6203-collection-perf-api

Conflicts:
apps/workbench/test/integration_performance/collection_unit_test.rb
apps/workbench/test/integration_performance/collections_controller_test.rb
services/api/test/integration/collections_performance_test.rb
services/api/test/unit/collection_performance_test.rb

Merge branch '6087-collection-timing' closes #6087

6087: If attributes are accessed but not loaded due to select(), raise instead of returning nil/{}/[].

6087: Remove unneeded CollectionsController#update special case.

ArvadosBase#save now covers the general case of omitting unchanged attributes.

6087: Reset changed-attrs list after saving. Fix only-send-changed-attrs logic. Add tests.

6087: Strengthen "manifest_text is not lost in update" test.

6087: Add big-manifest tests, with some finer-grained performance numbers on stderr.