6149: crunch-job installer handles egg_info errors better.

Capture the command's stderr and confirm that the error refers to
git.  If it does, ignore the stderr and set a build tag.  Otherwise,
propagate stderr and abort.

Update arvados in bundle. refs #6203 refs #6277

Use default word wrap (no mid-word line breaks). refs #6057

Merge branch '6203-locator-regexp' refs #6203 refs #6277

added shell-image back again to the build. I checked on my local machine and works great

no issue #

5790: Fix PySDK Docker image listing comparing ints and datetimes.

Closes #5790.

Add instructions to the 'Create standard objects' page to create a cluster-wide readable project for standard Arvados Docker images.

refs #6096

closes #6203
Merge branch '6203-collection-perf-api'

Merge branch '6203-collection-perf-api-TC' of git.curoverse.com:arvados into 6203-collection-perf-api-TC

Conflicts:
services/api/app/models/collection.rb

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render (now 50s makes the test past.). no issue #

qr1hi-automated-performance-suite is failing because the test doesnt give enough time for the page to render

no issue #

openssl self cert creation failed because missing of "tmp" directory.
api server failed to start because missing "tmp/logs" and "tmp/api" ditectories

no issue #

Merge branch '6235-go-sdk-discovery' closes #6235

Merge branch '5790-copy-most-recent-docker-image-wip'

Closes #5790, #6103.

5790: Improve Docker image listing in Python SDK.

* Always fetch all relevant Docker links.
* Support finding images by image hash.
* Show image hashes when listing images by name.
* Like Docker itself, when an image has multiple names and we're not
  filtering by name, list each one.
* Better match the API server's priority logic:
  * Ignore links to collections that aren't found.
  * Links with an image_timestamp always have priority over those that
    don't, regardless of their respective created_at timestamps.

The main motivation for this change is to make sure arv-copy gets the
right Docker image when copying a pipeline template recursively.

This implementation goes through some trouble to parse timestamps out
of each Docker link only once.

Merge branch '6152-compute-node-no-arv-wip'

Closes #6152, #6256.

6152: Use Python SDK for compute node installation.

This eliminates an otherwise-needless dependency on `arv` and the
entire Ruby stack.

closes #6093
Merge branch '6093-refresh-docs'

6093: remove "Alternate way to add SSH keys" and add the "Manage account" link blurb to "Adding your keys" section itself.

6203: Fix loophole allowing locators in bogus manifests to be accepted
without verification and then signed in responses. refs #6277

6203: Add tests for LOCATOR_REGEXP. Fix regexp to reject "++" and trailing "\n".

Merge branch 'master' into 6093-refresh-docs

6203: Accept (and discard) hints in client-provided portable_data_hash.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6235: Discovery() returns the requested value directly instead of a single-entry map.

6203: Remove unused vars. Remove unnecessary newline manipulation.

6203: Use faster =~ instead of match.

6203: Fix cheating test.

6203: Use each_line instead of split.each.

6203: Remove redundant split before each_line.

6203: Apply special case only to a 0-byte manifest: don't ignore white space.

6203: Eliminate unneeded variable.

6203: Merge pdh validations into one method. Update comments. Add tests.

6203: Use LOCATION_REGEXP from sdk; also add back updated each_manifest_locator method
with the same updates as munge method since this is simpler than the munge method. This
has seems further improved performance.

6203: Use manifest.each_line and line.rstrip! instead of manifest.split("\n").
Performance was comparable in both cases; though each_line itself is twice as fast (we need to do strip, which eats away the gain).

6203: further optimization of munge method; also, match[0].sub(/\+A[^+]*/, '') instead of split+append
resulted in another 2 seconds saving in each of create and update operations!

6203: compute_pdh, computed_pdh etc etc etc confusion. clean up to make it easier to follow.

6203: Benchmarking revealed that regexp.match(string) is 2.5x more expensive than string =~ regexp. Updated check_signatures method accordingly.

Merge branch 'master' into 6203-collection-perf-api

bundler 1.10 brakes workbench build because

https://github.com/lucasefe/themes_for_rails/blob/master/themes_for_rails.gemspec

has a bug. And it's a NOTICE in 1.9.9 but its a FATAL in 1.10.x

this is our workaround.

no issue #

Merge branch '6146-log-squeue-lost-tasks' refs #6146

6146: Document how --steps really works. Simplify squeue output format and parsing.

Merge branch '6074-collections-index' closes #6074

Merge branch 'master' into 6093-refresh-docs

6093: Add button-override css to make any buttons added inside the documentation to appear unclickable to avoid any confusion.

6203: Corrected one dumb switched order of if conditions that caused 5s lag!!

Merge branch 'master' into 6203-collection-perf-api

6087: Fix MissingAttribute check, and change it to a debug warning for now
because it reveals too many bugs. refs #6087

6087: Fix MissingAttribute firing for new records during changes_applied. refs #6087

Merge branch 'master' into 6203-collection-perf-api

Conflicts:
apps/workbench/test/integration_performance/collection_unit_test.rb
apps/workbench/test/integration_performance/collections_controller_test.rb
services/api/test/integration/collections_performance_test.rb
services/api/test/unit/collection_performance_test.rb

Merge branch '6087-collection-timing' closes #6087

6087: If attributes are accessed but not loaded due to select(), raise instead of returning nil/{}/[].

6087: Remove unneeded CollectionsController#update special case.

ArvadosBase#save now covers the general case of omitting unchanged attributes.

6087: Reset changed-attrs list after saving. Fix only-send-changed-attrs logic. Add tests.

6087: Strengthen "manifest_text is not lost in update" test.

6087: Add big-manifest tests, with some finer-grained performance numbers on stderr.

6074: Use each instead of find_each, so our order() and limit() constraints are respected.

According to http://apidock.com/rails/ActiveRecord/Batches/find_each,
both order and limit are ignored.

The existing test "max_index_database_read does not interfere with
order" had two fatal bugs that prevented it from catching the
find_each problem:

1. It didn't select the 'name' column, so the 'name' order was
   ignored. But the test passed because the name wasn't returned,
   item['name'] was nil, and... nil !~ /pattern/ is true. Both
   problems are fixed here.

   (This explains why it seemed to find 15 names starting with
   Collection_9, rather than just the 11 that exist (_9 and _90..99).)

2. It tested only that the returned results followed the requested
   order, not that the order was followed when deciding what the limit
   should be. All of the items_available were the same size, so _any_
   order would have set the limit at 15 and passed the test.

The second problem is fixed by adding a separate test.

6203: add trailing newline character in munge_manifest_locators method only when the original manifest ended with one; one of the unit tests did not like it otherwise.

6074: Update config docs to match new max_index_database_read behavior.

6203: Merge strip_manifest_text and maybe_clear_replication_confirmed into one method to avoid repeated manifest parsing related expense.

6235: Add method to get parameters from API discovery document.

6074: Never exceed the configured max_index_database_read (even by one
record) unless necessary to return one row.

Fix copy&paste error in test case.

6074: Clear any existing ActiveRecord select() before adding our own,
otherwise we'll read all the big values when we're really just trying
to predict the result size.

6074: Speed up db query by using octet_length() instead of length(). closes #6223

Merge branch 'master' into 6203-collection-perf-api

6203: Do not use Keep::Locator.parse to parse locator in some of the most expensive paths.

6087: Use HTTPClient's compression feature (instead of adding the
Content-Encoding header ourselves). Rename config knob to describe
purpose instead of implementation.

6087: Compute portable_data_hash only once during check_signatures.

6087: Use app-configured key by default for blob signing and verification.

Merge branch '6146-log-squeue-lost-tasks' refs #6146

6146: Better log message.

6146: Use new SLURM_JOB_ID env var instead of old SLURM_JOBID

6146: Improvements to "kill srun process if slurm task disappears" feature:

* Log when we notice a process is orphaned.

* Log when we decide to kill an orphaned process.

* Use `squeue --jobs $SLURM_JOBID` so slurm doesn't have to tell us
  about other jobs' tasks.

* Do not kill a process that is still reporting stderr.

* Do not check `squeue` at all if every process has reported stderr
  since the last squeue check. (In such cases, it seems safe to assume
  no children are hung/dead.)

* Use the same timer/interval (15 seconds) for both noticing and
  killing orphaned processes.

Merge branch 'master' into 6203-collection-perf-api

refs #6093
Merge branch '6093-refresh-docs'

6093: delete the redundant details in "alternate way to add ssh keys" section.

Merge branch 'master' into 6093-refresh-docs

closes #5930. Merge branch '5930-smalldocfix'

5930: fixed as per code review

Merge branch '6194-python-arvfile-large-write' closes #6194

6194: Simplify test_large_write a little bit.

Merge branch 'master' into 6093-refresh-docs

6194: Make splitting loop simpler since [n:n+KEEP_BLOCK_SIZE] returns a short
slice when there isn't KEEP_BLOCK_SIZE data.  Update test.

Merge branch 'master' into 6087-collection-timing

Merge branch 'master' into 6194-python-arvfile-large-write

6194: Fix test.  Lots of small writes break across blocks differently than one huge
one.

Merge branch 'master' into 6087-collection-timing

6194: Fix typo in invocation of writeto() and use memoryview to avoid copying slices.

Remove non-existent migration from structure.sql. refs #3036

Update example dns_server_update_command. refs #6146

Merge branch '6146-dns-update-command' refs #6146

6146: Add dns_server_update_command. Update docs & tests for DNS update hooks.

Tell tar to read to EOF (even if it detects trailing NULs).

Avoids SIGPIPE when feeding a tarball made with tar -A.

refs #6146 refs #6094

6194: Chunk large ArvadosFile writes automatically instead of raising an error.

Merge branch '6146-ignore-tar-sigpipe' refs #6146 refs #6094

6146: Ignore SIGPIPE while feeding data to tar. Rely on close() retval instead.

In install script, log archive hash before running tar. refs #6146

Merge branch '6146-job-runtime-sanity' refs #6146

6146: Exit TEMPFAIL early (without failing the job) if worker nodes cannot run a trivial command.

This is meant to improve the way we handle a couple of edge cases.

1. A worker node doesn't get bootstrapped properly. It works well
enough to persuade nodemanager and the API server that it's alive and
ready to run jobs, but it can't actually run jobs. This means there's
a bug in the bootstrapping process -- its startup script shouldn't
tell slurm State=RESUME without checking itself -- but even so this
doesn't deserve to fail a job: it's definitely a system problem,
there's zero chance a different job would have gone any differently.

2. A worker node has a hardware problem, or it has fallen off the
network, or something like that, but slurm hasn't yet noticed and set
its state to DOWN, so slurm still uses it to satisfy crunch-dispatch's
"salloc" commands. As above, there's zero chance this could have gone
differently for any other job, so it doesn't make sense to fail the
job.

Merge branch 'master' into 6087-collection-timing