3793: Log uncleaned images.

3793: Always keep one Docker image.

3793: Fixups from code review.

3793: Add Docker image cleaner service for compute nodes.

This service monitors Docker events.  When no containers are active,
it arranges to keep the most recently used images up to a configured
size limit, then deletes the rest.  This will prevent Docker images
from growing indefinitely on physical compute nodes.

Merge branch '5562-pycurl' closes #5562

5562: Return UA to pool if it worked well enough to get an HTTP status.

5562: Enable TCP Keepalive for Keep requests. refs #5822

closes #5826
Merge branch '5826-unreadable-inputs-error'

5826: use present? instead of !empty?

5562: Add fake keepstore server with configurable problems.

5562: Use pycurl library (instead of requests) for Keep transactions.

5826: revert the previous update that checked if readable only for pdh or uuid;
instead check as long as a collection datatype is presented with a non-empty string.

closes #5622
Merge branch '5622-fix-timeout-pdh-page'

5622: when there are too many collections matching a pdh, show only 20 of them.

Check if cache slot is not None before trying to test the read flag.  refs #5831

Merge branch '5739-no-sqlite3' closes #5739

closes #5826
closes #5827
Merge branch '5826-unreadable-inputs-error'

5827: check readable only attrvalue is a string

Merge branch '5490-crunch-tighten-job-reuse-wip'

Closes #3341, #5388, #5490, #5688, #5784.

5490: Require exact matches in API server's default job reuse filters.

The previous default filters would reuse jobs that used any Docker
image with the matching name, and/or Arvados SDK version since the
named commit.  User feedback indicates this is surprising, and they
would prefer to have behavior more like the handling around
script_version: only reuse jobs that have the latest version of a
symbolic name, or the exact specified hash.

5490: Test API server finds Docker images with hash names.

This is in the same spirit as the previous, analogous commit for git
branches.

5490: Test API server handling of git hash-like branch names.

If you have a branch that looks like a commit hash, different git subcommands do different things.  After extended discussion on IRC, we've decided we'd like the rules to be:

* If a 40-character hex string references a commit, resolve it to that
  commit.
* In other cases of ambiguity, prefer branch names over short commit
  hashes.

Fortunately, this corresponds to the behavior of `git rev-list` and
our existing implementation.  This commit codifies our desired
behavior with tests.

5490: Clean up API server previous job fixtures.

* Every fixture that specified an arvados_sdk_version constraint
  should also specify a docker_image constraint, to better match
  reality.

* Use the same Docker image name in link and previous job fixture
  constraints.

5490: Refactor API server job_reuse_controller_test.

Teach the convenience methods to start from any fixture job as a basis
for submitting new ones and comparing.

5826: check readable only when it is a data collection pdf or uuid.

Merge branch '5554-delete-job-log-rows-wip'

Closes #5554, #5798.

5554: Workbench links finished job logs from pipeline instance log tab.

This is an affordance to help users find logs after they're removed
from the API server's logs table.  The display is not very great.
We're punting improvements until Workbench generally has better
capabilities to display large logs.

The layout change necessitated updates to the anonymous access tests.
While I was in there, I strengthened the assertions by putting
assertions that check a particular element has loaded before asserting
the nonexistence of other elements.  This revealed the JavaScript
issue mentioned in the new comment: the old version of the test was
doing a single `assert_no_text` after clicking a job's log tab, which
only confirmed that we navigated away.  We already test that the log
tab exists and is not disabled in this case, so I consider that
sufficient for now.

5554: Clean up erroneous fixture pipeline state.

5554: Add Rake task to delete old job log records.

closes #5780
Merge branch '5780-sharing-popup-message'

Merge branch 'master' into 5780-sharing-popup-message

5739: Remove unnecessary sqlite3 dependency.

run_test_server doesn't assume ARVADOS_API_TOKEN is set.

This makes it slightly more feasible to run this script (and by
extension tests for individual components like Workbench) outside
run-tests.sh.  No issue #.

Fix typo. No issue #

closes #5796
Merge branch '5796-collection-search-index'

5796: add down migration

5796: omit file_names column from collections search index.

5416: Test with HEAD in current tree, not master: jenkins index has no 

Improve logging in test suite.

refs #5416

5780: Display message in chooser popup if one is provided. Use this to show a message in sharing popup
explaining to user that only those users or groups that the user is allowed to access are displayed.

Merge branch '5416-browse-repo-tree' refs #5416

closes #5663
Merge branch '5663-doc-rake-secret'

Merge branch 'master' into 5663-doc-rake-secret

closes #5783

5783: add type="button" for Cancel button in add ssh key popup.

Merge branch 'master' into 5663-doc-rake-secret

closes #5675
Merge branch '5675-project-subprojects-in-anonymous-view'

Merge branch 'master' into 5663-doc-rake-secret

Merge branch 'master' into 5675-project-subprojects-in-anonymous-view

refs #5179 : gem version in workbench

closes #5179
Merge branch '5179-dirs-in-filenames'

5179: one more test with multilevel manifest text

Merge branch 'master' into 5179-dirs-in-filenames

5416: Fix protected method that should have been public.

5416: Use foo:bar@host:port/ instead of credential helper.

5416: Remove second trailing slash in breadcrumbs link.

5416: Disable repository browsing (and skip tests) if git version is suspected unreliable.

5416: Add read-only clone_urls attribute to Repository resources, deprecate push_url and fetch_url, tidy up config settings.

5416: Do not override git urls for remote hosted repos.

5416: Run arv-git-httpd and nginx ssl proxy in test suite.

5416: Browse git repository contents in workbench.

5416: Fix comment.

Revert errant change in f8e6cb3. refs #3126

Docker: fix the build of the sso docker container.

No issue #

Merge branch '3126-remote-git-url' closes #3126

3126: Skip some unnecessary db resets.

3126: Use localhost to simulate API failures. reset_application_config in teardown
nstead of setup. Remove superfluous cleanup.

3126: Handle "no local repository" case better.

3126: Delete git cache dir in test teardown. Remove no-op test.

3126: Fix test. Avoid excess "git init" by probing with "git branch" first.

3126: Always act as current_user in Commit.find_commit_range.

3126: Do not try to do anything with job.repository in crunch-dispatch if the commit is already in internal.git.

3126: Update API docs.

3126: Accept remote http/https/git url as repository attr in jobs.create/save.

closes #5573
Merge branch '5573-user-activity-page-performance'

Merge branch 'master' into 5573-user-activity-page-performance

closes #5753
Merge branch '5753-job-name-column-in-project-page'

Merge branch 'master' into 5753-job-name-column-in-project-page

closes #5620
Merge branch '5620-collection-selections'

5620: added comment to input trigger event

5663: update documentation to use "puts rand" in place of "rake secret"

5179: update arvados ruby sdk gem version in workbench.

5179: update files method to move dir parts to streamname.

5675: include Subprojects tab in project#show for anonymous users.

5620: add ready handler for input

5753: show name column in project#show page when the object supports name.

5573: The activity page retrieves too much data that it does not need from the server. Added a limit clause on the request to server.

closes #5417
Merge branch '5417-not-start-pipeline-with-unreadable-inputs'

Merge branch 'master' into 5417-not-start-pipeline-with-unreadable-inputs

5417: one more test condition for dataclass=File

Merge branch '3145-readonly-volumes' refs #3145

5417: in case of a File dataclass with unreadable input and uneditable pipeline, the Run button should be disabled.

5417: revert unreadable-input check for links since no such case exists.

5417: update created_at time on pipeline_in_publicly_accessible_project, so that it is newest and always first in the list.

Merge branch 'master' into 5417-not-start-pipeline-with-unreadable-inputs

5417: a few changes from based on review feedback. also, account for dataclass=File type when checking if input is readable by current user.

3145: Add -readonly flag. Accept multiple -volume arguments.

* Leave -volumes (and accept comma-separated dir lists) for backward
  compatibility.

* Detect read-only filesystems when using /proc/mounts to discover
  Keep volumes.

* VolumeManagers know whether volumes are writable, so it's not
  necessary to wait in a serialize queue just to find out a volume
  isn't writable.

* Simplify RRVolumeManager: use atomic.AddUint32() instead of channels
  and goroutines.

* -serialize (like -readonly) now affects only the volumes that come
  after it in the argument list (and automatically discovered
  volumes). This makes it possible to have a mix of serialized and
  non-serialized volumes.

* Fix some test cases that just skipped the test (instead of failing)
  when encountering an error during test setup.

* Move MockVolume code from volume.go to volume_test.go.

* Clean up some over-indented code blocks, see
  https://github.com/golang/go/wiki/CodeReviewComments#indent-error-flow

* Remove some stating-the-obvious/redundant comments and duplicate log
  messages.

5742: User setup process uses username for VM login, not repo name.

Closes #5742.

Merge branch '5717-crunch-dynamic-max-tasks-per-node-wip'

Closes #5717, #5721.

5717: crunch-job uses fewer slots when few tasks at this level.

When crunch-job begins tasks at a new level, it looks at the number of
tasks scheduled for that level.  If that's smaller than the maximum
number of slots available, then it only considers slots "free" up to
the number of tasks scheduled, or the number of nodes available,
whichever is greater.

This change lets Crunch scale whole-node resources like RAM more
effectively.  This may not be desired if a level starts with a small
number of tasks queued, but later schedules more and wants maximum
parallelization, but that's uncommon enough that this seems like net
win.  Previously, Crunch could overallocate RAM in this scenario,
which seems worse.

Merge branch '5714-gce-setup-bugfixes-wip'

Closes #5714, #5715.

5714: Avoid Node Manager race conditions around stop_if_no_cloud_node.

Checking .is_alive() seems to always lead to race conditions.
Instead, have CloudNodeSetupActor.stop_if_no_cloud_node() return True
if it's going to stop, else False.  Have NodeManagerDaemonActor
respect this return value consistently.