5365: missed one updated signature update

5365: updated signature for link_to_arvados_object_if_readable

5692: Backed out commit_all() from Collection.manifest_text().
Collection.save() and Collection.save_new() now return unstripped manifest
text.

5692: Collection.manifest_text(strip=False) will flush open files and wait for
all blocks to be committed in order to return a manifest text with valid
authorization tokens.  Fix tests affected by the change.

Merge branch '5493-getting-started-modal' of git.curoverse.com:arvados into 5493-getting-started-modal

Conflicts:
apps/workbench/app/views/getting_started/_getting_started_popup.html.erb

fix merge conflicts

first page prototype

5365: do not link to docker_image_locator if not readable; also preload these.

Merge branch 'master' into 5365-not-link-unreadables

5365: add controller tests for preload_for_pdhs and collection_for_pdh methods

5365: preload editable component inputs

5365: add @distinct handling to workbench select queries and use this to preload portable_data_hashes as well.

Merge branch '5416-git-config' refs #5416

5416: Improve logging.

5416: Do not blow up tests when git global config is uninitialized.

5414: Do not blow up if local config file is empty.

5414: Use reflect.DeepEqual instead of comparing serialized maps.

5414: Add TestGetWithLocalServiceHint.

5414: Clean up Locator / MakeLocator() API.

5414: Add client support for Keep service hints.

Also, some incidental improvements in nearby code:

* Consistent logging in keepproxy, with one reusable logging statement
  instead of a different statement/format for each outcome.

* In sdk/go/keepclient, remove public AuthorizedGet and AuthorizedAsk
  methods. Instead, Get() and Ask() accept a locator (with or without
  a permission token) and do the right thing. Callers don't have to
  parse locators to decide which method to call.

* In sdk/go/keepclient, use an RWMutex instead of atomic.LoadPointer()
  and unsafe.Pointer() to update KeepClient root maps safely.

* In sdk/go/keepclient, DiscoverKeepServers() doesn't return the new
  root maps, just an error. In normal usage, the caller only cares
  whether discovery was successful.

Also, some Go style fixes in nearby code:

* Use pointer receivers for all KeepClient methods.
  https://golang.org/doc/faq#methods_on_values_or_pointers

* Use receiver name "kc", not "this".
  https://github.com/golang/go/wiki/CodeReviewComments#receiver-names

* Handle errors first, use minimal indentation for normal code path.
  https://github.com/golang/go/wiki/CodeReviewComments#indent-error-flow

Merge branch 'master' into 5493-getting-started-modal

5365: Additional test verifications for Log tab display.

Merge branch '5642-crunch-job-swap-limits-wip'

Closes #5642, #5664.

5642: crunch-job uses higher memory limit when running few tasks.

This gives a task all of the node's RAM when it's the only task
running this round, which is more in line with user expectations.

5642: Explicitly make all swap available under Docker in crunch-job.

Without this, Docker 1.2 through 1.5 send subprocesses SIGKILL if they
exceed the memory limit.  Refer to #5642 for an example.

--memory-swap is pretty new (newer than 1.3.3), so we don't want to
require it.  At the same time, we don't want to impose any memory
limits if we can't use it, because killing subprocesses that exceed a
--memory limit is too strict.  This commit arranges to use both
--memory and --memory-swap only if the latter is available.

5365: trailing white space

Merge branch 'master' into 5365-not-link-unreadables

5365: preload output collection uuids and jobs to help improve performance when loading large pipelines.

Include arvados/collection in the Ruby SDK gem.

No issue #.

5365: preload jobs during pipeline display to improve performance.

Merge branch 'master' into 5365-not-link-unreadables

5365: refactor link to object if readable logic

Merge branch '5653-arv-copy-multiple-branches-wip'

Closes #5653, #5673.

5653: arv-copy copies multiple commits from the same repository+pipeline.

arv-copy previously used the repository name alone to determine which
job scripts it had already copied to the destination.  If a pipeline
used unrelated commits from the same repository, it would skip copying
over all but the first.  Track script versions throughout the copy
process and make sure all of them are copied to the destination
repository.

Merge branch '5352-crunch-dispatch-salloc-tempfail-wip'

Closes #5352, #5670.

5352: crunch-dispatch treats node allocation failure as temporary.

Imagine a scenario where multiple crunch-dispatch processes are
sitting idle, then suddenly a new job appears in the queue.  They will
all race to dispatch the job.  When this happens, we frequently see
that salloc fails for most of them, because they all requested the
same node(s) and only the winner will get them.  crunch-dispatch has
no way to know the exit code "came from" salloc and not crunch-job,
and so marks the job failed.

This patch sets the SLURM_EXIT_IMMEDIATE environment variable to make
salloc use exit code 75 when the allocation fails.  crunch-dispatch
already recognizes this exit code as a temporary failure, and will
leave the Arvados job record unchanged.  Refer to salloc(1) and the
long comment in Dispatch#reap_children.

Merge branch 'master' into 5365-not-link-unreadables

Conflicts:
apps/workbench/test/integration/anonymous_access_test.rb

5365: job link in pipeline instance page

closes #5565
Merge branch '5565-breadcrumbs-in-anonyymous-view'

5565: show parent project hierarchy in breadcrumbs in anonymous view; not just current objects's parent.

Merge branch 'master' into 5565-breadcrumbs-in-anonyymous-view

closes #5492
Merge branch '5492-home-project-in-my-account'

Merge branch 'master' into 5492-home-project-in-my-account

Merge branch 'master' into 5565-breadcrumbs-in-anonyymous-view

5565: show trimmed down version of breadcrumbs in anonymous view.

Tighten up DNS check in arvdock.

I got arvdock stuck in an infinite loop because I had the right
nameserver line in /etc/resolv.conf, except it was commented out, so
arvdock kept checking for a name that it would never find.  Use awk to
find and check the first functional nameserver line instead.

No issue #.

5492: add "Home project" link to my account menu.

Merge branch 'master' into 5365-not-link-unreadables

5365: white space

Add missing global declaration in arv-copy.

No issue #.

5365: couple more integration tests to access Log tab from within the Job page.

5365: additional test assertions for pipeline log tab display

Merge branch 'master' into 5365-not-link-unreadables

Fix debug log formatting in PySDK.

When multiple arguments are passed to a logger method, the first
argument is expected to be a printf-style format string, with the
remaining arguments expected to fill in the formatters.

No issue #.

5518: PySDK arvados.util must import arvados.

Closes #5518.

5365: add integration test to verify Log tab and other unreadable properties are disabled in anonymous view.

5493: minor refactoring

Merge branch 'master' into 5365-not-link-unreadables

5365: Do not link to job, log, output in pipeline instance if the user, mainly anonymous user, cannot read those objects.
Disable Log tab and show tooltip in such a scenario.
Working in manual testing. Integration test updates are on the way.

Merge branch '5416-repo-dir-is-uuid'

Refs #5416.

4253: Gitolite migration makes a name symlink for arvados repository.

This is necessary for other supporting infrastructure around this
repository in Gitolite installs; e.g., the cron job that keeps them in
sync with upstream.  Refs #4253.

Merge branch '4752-docker-websockets' closes #4752

Make arvdock abort with a nice error message if docker or curl can not
be found.

refs #4752

Merge branch '5626-git-server-hostname' closes #5626

5626: Expand test to check both positive and negative cases a bit per request.

5626: Add test for git_hostname configuration option.

4752: Websockets works.  Fix compute node containers to restart correctly.  Fix
git server hostname.  Arvdock waits for API/workbench to be ready before telling
the user to go to workbench.

Merge branch '5626-git-server-hostname' into 4752-docker-websockets

5416: Prefer repos stored locally by uuid, fall back to name. Update tests to suit 4523 fixtures.

5626: Add git_hostname configuration option.

5627: Python file-like objects use SEET_SET as the default whence.

This is a brown paper bag commit.  All that time I spent grumbling
that we had the wrong default was completely incorrect.  We had it
right earlier, and I blew it.  See
<https://docs.python.org/2/library/stdtypes.html#file.seek>.

Closes #5627.

4752: Fix failing setup by polling for API server to come up.

closes #5420
Merge branch '5420-collection-checkbox-selections'

4752: Update documentation related to docker

5420: remove search box autocomplete off update so that this can be addressed in a separate issue.

Merge branch 'master' into 5420-collection-checkbox-selections

Merge branch '4253-gitolite-migration-wip'

Closes #4253, #5617.

4253: Add script to migrate existing Gitolite installations.

4752: Use passenger standalone for API server instead of passenger apache module and set ARVADOS_WEBSOCKETS=1

Merge branch '4253-user-repos-wip'

Refs #4253.  Closes #5605.

4253: Add Workbench interface to create repositories.

Commit includes contributions from Tom Clegg.

4253: Let Workbench Manage Account partials render their whole pane.

I'm about to add another "Add" button to the Repositories pane, so I'd
rather do it this way than try to maintain a generic loop inside
_manage_account.html.erb.

4253: Sync up Docker with our production Gitolite setup.

This updates our API server Docker image to store repositories by
UUID, with name aliases available.  .gitolite.rc enables the aliasing,
and update-gitolite.rb generates the necessary configuration.  This
makes it possible to test the recent repository changes in Docker.

4253: Users can manage their own repositories.

This commit allows users to create their own repositories, as long as
the repository name starts with their own username.

To support this change, we've modified our Gitolite setup to store
repositories primarily by UUID, with a name alias for easier
checkout.  fetch_url and push_url become generated attributes
accordingly.  This makes it easier to rename the repository later and
allow checkouts to continue to work.

Commit includes contributions from Tom Clegg.

Merge branch '5612-munge-docker-cleanup' closes #5612

5612: Wrap munge with startup script that cleans up /var/run/munge of stale
sockets and pidfiles.  Can now run jobs after stopping and restarting
containers.

Merge branch 'master' into 5420-collection-checkbox-selections

5493: one more stale update

5493: test uncovered an issue with getting_started_shown handling; fixed it.

Merge branch 'master' into 5493-getting-started-modal

Merge branch '5539-better-docker' closes #5539

Merge branch 'master' into 5493-getting-started-modal

5493: improve test to verify Next button disables when last page is accessed

5493: getting_started modal is served from layout html

Merge branch '5416-arv-git-httpd' refs #5416

5493: do not show "Public pipelines and datasets" link in help menu if config parameter is not set.

5493: update tests to use updated fixture active_no_prefs_profile_no_getting_started_shown

5416: Merge branch 'master' into 5416-arv-git-httpd

5416: Add permission-denied tests.

5416: Improve variable names & filenames. Report original error if git fails with nothing on stderr.