4410: crunch-dispatch fixups from code review.

4410: crunch-job retry fixups from code review.

4410: crunch-job fixups from code review.

4410: Crunch retries jobs when all SLURM nodes fail.

See the ticket for detailed background discussion and implementation
rationale, especially notes 13 and 14.

4410: crunch-dispatch logs crunch-job exit later.

This makes it easier to log the exit code, and makes the logs look
nicer because the exit log doesn't interrupt crunch-job's stderr.

refs #6277
Merge branch '6277-manifest-validation'

Merge branch 'master' into 6277-manifest-validation

6277: all that work and missed the basic nil and empty string check!!!

closes #6254
Merge branch '6254-groups-during-setup'

refs #6277 : ruby sdk with manifest validation method
Merge branch '6277-manifest-validation'

6277: extra white space

Merge branch 'master' into 6277-manifest-validation

6254: minor update to Groups text field label to avoid conflict with 'Virtual Machine' lebel.

6254: better groups text field label

6254: instead of tooltip, use a self explanatory label for groups text field.

7254: add groups to vm link.

6254: remove redundant statement

6254: add groups and verify in test.

Merge branch '6149-quiet-egg-info-stderr-wip'

Closes #6149, #6284.

6149: crunch-job installer handles egg_info errors better.

Capture the command's stderr and confirm that the error refers to
git.  If it does, ignore the stderr and set a build tag.  Otherwise,
propagate stderr and abort.

6254: slight performance improvement where the can_login link is not retrieved and checked if the groups passed in are the same as those already saved.

6254: add "groups" to user setup process; these comma separated groups entered in the popup will be saved as an array of groups property for the user's can_login link.

6277: Catch whitespace errors, and "." and ".." in paths. Rename valid? to validate!.

6277: Add more restrictions to manifest format such as cannot start with '/' and end with '/' for file names,
as well as stream names and files names should not contain '//'.
Added the tests provided by Tom during review.

6277: valid manifest must end with new line.

6277: improve error message for missing file tokens.

6277: add Manifest::valid? method in ruby sdk.

Update arvados in bundle. refs #6203 refs #6277

Use default word wrap (no mid-word line breaks). refs #6057

Merge branch '6203-locator-regexp' refs #6203 refs #6277

added shell-image back again to the build. I checked on my local machine and works great

no issue #

5790: Fix PySDK Docker image listing comparing ints and datetimes.

Closes #5790.

Add instructions to the 'Create standard objects' page to create a cluster-wide readable project for standard Arvados Docker images.

refs #6096

closes #6203
Merge branch '6203-collection-perf-api'

Merge branch '6203-collection-perf-api-TC' of git.curoverse.com:arvados into 6203-collection-perf-api-TC

Conflicts:
services/api/app/models/collection.rb

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render (now 50s makes the test past.). no issue #

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render

no issue #

openssl self cert creation failed because missing of "tmp" directory.
api server failed to start because missing "tmp/logs" and "tmp/api" ditectories

no issue #

Merge branch '6235-go-sdk-discovery' closes #6235

Merge branch '5790-copy-most-recent-docker-image-wip'

Closes #5790, #6103.

5790: Improve Docker image listing in Python SDK.

* Always fetch all relevant Docker links.
* Support finding images by image hash.
* Show image hashes when listing images by name.
* Like Docker itself, when an image has multiple names and we're not
  filtering by name, list each one.
* Better match the API server's priority logic:
  * Ignore links to collections that aren't found.
  * Links with an image_timestamp always have priority over those that
    don't, regardless of their respective created_at timestamps.

The main motivation for this change is to make sure arv-copy gets the
right Docker image when copying a pipeline template recursively.

This implementation goes through some trouble to parse timestamps out
of each Docker link only once.

Merge branch '6152-compute-node-no-arv-wip'

Closes #6152, #6256.

6152: Use Python SDK for compute node installation.

This eliminates an otherwise-needless dependency on `arv` and the
entire Ruby stack.

closes #6093
Merge branch '6093-refresh-docs'

6093: remove "Alternate way to add SSH keys" and add the "Manage account" link blurb to "Adding your keys" section itself.

6203: Fix loophole allowing locators in bogus manifests to be accepted
without verification and then signed in responses. refs #6277

6203: Add tests for LOCATOR_REGEXP. Fix regexp to reject "++" and trailing "\n".

Merge branch 'master' into 6093-refresh-docs

6203: Accept (and discard) hints in client-provided portable_data_hash.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6235: Discovery() returns the requested value directly instead of a single-entry map.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6203: Use faster =~ instead of match.

6203: Fix cheating test.

6203: Use each_line instead of split.each.

6203: Remove redundant split before each_line.

6203: Apply special case only to a 0-byte manifest: don't ignore white space.

6203: Eliminate unneeded variable.

6203: Merge pdh validations into one method. Update comments. Add tests.

6203: Use LOCATION_REGEXP from sdk; also add back updated each_manifest_locator method
with the same updates as munge method since this is simpler than the munge method. This
has seems further improved performance.

6203: Use manifest.each_line and line.rstrip! instead of manifest.split("\n").
Performance was comparable in both cases; though each_line itself is twice as fast (we need to do strip, which eats away the gain).

6203: further optimization of munge method; also, match[0].sub(/\+A[^+]*/, '') instead of split+append
resulted in another 2 seconds saving in each of create and update operations!

6203: compute_pdh, computed_pdh etc etc etc confusion. clean up to make it easier to follow.

6203: Benchmarking revealed that regexp.match(string) is 2.5x more expensive than string =~ regexp. Updated check_signatures method accordingly.

Merge branch 'master' into 6203-collection-perf-api

bundler 1.10 brakes workbench build because

https://github.com/lucasefe/themes_for_rails/blob/master/themes_for_rails.gemspec

has a bug. And it's a NOTICE in 1.9.9 but its a FATAL in 1.10.x

this is our workaround.

no issue #

Merge branch '6146-log-squeue-lost-tasks' refs #6146

6146: Document how --steps really works. Simplify squeue output format and parsing.

Merge branch '6074-collections-index' closes #6074

Merge branch 'master' into 6093-refresh-docs

6093: Add button-override css to make any buttons added inside the documentation to appear unclickable to avoid any confusion.

6203: Corrected one dumb switched order of if conditions that caused 5s lag!!

Merge branch 'master' into 6203-collection-perf-api

6087: Fix MissingAttribute check, and change it to a debug warning for now
because it reveals too many bugs. refs #6087

6087: Fix MissingAttribute firing for new records during changes_applied. refs #6087

Merge branch 'master' into 6203-collection-perf-api

Conflicts:
apps/workbench/test/integration_performance/collection_unit_test.rb
apps/workbench/test/integration_performance/collections_controller_test.rb
services/api/test/integration/collections_performance_test.rb
services/api/test/unit/collection_performance_test.rb

Merge branch '6087-collection-timing' closes #6087

6087: If attributes are accessed but not loaded due to select(), raise instead of returning nil/{}/[].

6087: Remove unneeded CollectionsController#update special case.

ArvadosBase#save now covers the general case of omitting unchanged attributes.

6087: Reset changed-attrs list after saving. Fix only-send-changed-attrs logic. Add tests.

6087: Strengthen "manifest_text is not lost in update" test.

6087: Add big-manifest tests, with some finer-grained performance numbers on stderr.

6074: Use each instead of find_each, so our order() and limit() constraints are respected.

According to http://apidock.com/rails/ActiveRecord/Batches/find_each,
both order and limit are ignored.

The existing test "max_index_database_read does not interfere with
order" had two fatal bugs that prevented it from catching the
find_each problem:

1. It didn't select the 'name' column, so the 'name' order was
   ignored. But the test passed because the name wasn't returned,
   item['name'] was nil, and... nil !~ /pattern/ is true. Both
   problems are fixed here.

   (This explains why it seemed to find 15 names starting with
   Collection_9, rather than just the 11 that exist (_9 and _90..99).)

2. It tested only that the returned results followed the requested
   order, not that the order was followed when deciding what the limit
   should be. All of the items_available were the same size, so _any_
   order would have set the limit at 15 and passed the test.

The second problem is fixed by adding a separate test.

6203: add trailing newline character in munge_manifest_locators method only when the original manifest ended with one; one of the unit tests did not like it otherwise.

6074: Update config docs to match new max_index_database_read behavior.

6203: Merge strip_manifest_text and maybe_clear_replication_confirmed into one method to avoid repeated manifest parsing related expense.

6235: Add method to get parameters from API discovery document.

6074: Never exceed the configured max_index_database_read (even by one
record) unless necessary to return one row.

Fix copy&paste error in test case.

6074: Clear any existing ActiveRecord select() before adding our own,
otherwise we'll read all the big values when we're really just trying
to predict the result size.

6074: Speed up db query by using octet_length() instead of length(). closes #6223

Merge branch 'master' into 6203-collection-perf-api

6203: Do not use Keep::Locator.parse to parse locator in some of the most expensive paths.

6087: Use HTTPClient's compression feature (instead of adding the
Content-Encoding header ourselves). Rename config knob to describe
purpose instead of implementation.

6087: Compute portable_data_hash only once during check_signatures.

6087: Use app-configured key by default for blob signing and verification.

Merge branch '6146-log-squeue-lost-tasks' refs #6146

6146: Better log message.

6146: Use new SLURM_JOB_ID env var instead of old SLURM_JOBID

6146: Improvements to "kill srun process if slurm task disappears" feature:

* Log when we notice a process is orphaned.

* Log when we decide to kill an orphaned process.

* Use `squeue --jobs $SLURM_JOBID` so slurm doesn't have to tell us
  about other jobs' tasks.

* Do not kill a process that is still reporting stderr.

* Do not check `squeue` at all if every process has reported stderr
  since the last squeue check. (In such cases, it seems safe to assume
  no children are hung/dead.)

* Use the same timer/interval (15 seconds) for both noticing and
  killing orphaned processes.

Merge branch 'master' into 6203-collection-perf-api