4823: Added apiconfig option to arvados.api() to accept a dict with
ARVADOS_API_HOST and ARVADOS_API_TOKEN keys.  Expanded comments on Collections
object.  Added convenience wrappers for creating CollectionRoot.

4823: Add root_collection() to make it easier to find the root.  Adjusted
semantics of save(), renamed save_as() to save_newC().  Now call save() on
close() when in SYNC_LIVE.  Release readfrom() now releases collection lock
before actually fetching blocks.

4823: Rename @_synchronized -> @synchronized and @_must_be_writable to @must_be_writable.  Fix arvfile tests.

4823: Another merge conflict test.

4823: Files now fall under collection's lock.  Add tests for merge conflicts.
Add modified flag to collections to detect deletions.

4823: Switched order of diff (now gives a diff *to* the target collection
instead of *from* the target collection).

4823: Add tests for Collection diff and apply.

4823: Implemented diff/apply/update methods for Collection synchronization.  Needs tests.

4823: Add tests for Collection.clone and Collection.merge

4823: Add Collection.copy tests

4823: Fix bugs, fix tests, existing tests pass again.  Still need to write new tests.

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: Added merge(), live sync.  Removed deferred _populate().

4823: Add copyinto()

4823: Refactored Collection into SynchronizedCollectionBase, Subcollection, and
Collection.  Added clone().  Added method decorators for locking.

Documentation cleanup: CLI SDK:

- merge some information from the wiki.
- reorganize things a bit.

No issue #

4823: Added SYNC mode constants.

4823: Adding @_synchronized to protect arvfile and block manager.  Updated
docstrings to PEP 257 and PEP 287.

5037: Fix tearDown error handling in PySDK Websockets test.

I accidentally broke this in 51f9e6cb.  That version would crash if
the test failed to assign self.ws.  Refactor to be more robust in that
case.  No issue #.

Merge branch 'master' into 4823-python-sdk-writable-collection-api

Merge branch '5037-python-sdk-thread-safe' refs #5037

5037: Mention where this cache is, instead of describing what a cache is.

5037: Remove unnecessary cache=False from arv-copy.

5037: Fix race condition in PySDK Websockets test.

This might just be bad luck, but for some reason when testing Tom's
changes I ran into a situation where this test failed because it
started processing the Websocket event about the new human before it
assigned self.h, so the assertion failed.  Fix the race condition by
asserting against a thread-aware Queue.

5037: Add test for new PySDK API cache behavior.

Merge branch '4562-crunch-tools-docs-wip'

Closes #4562, #5015.

4562: Add Crunch tools overview to the documentation.

5037: Remove connection pool. Now, api(cache=False) refers only to the discovery document cache.

closes #3686
Merge branch '3686-sharing-repositories'

Merge branch 'master' into 3686-sharing-repositories

3686: correct one test assertion and refine some other assertions.

Fix preview pane disappearing on narrow displays. closes #4918

Merge branch '5074-ruby-sdk-discovery-cache-wip'

Closes #5074, #5091.

5074: CLI SDK uses Google API client extensions from Ruby SDK.

5074: Improve discovery document caching in Ruby SDK.

* Report a warning if there's an error reading or parsing a cached
  discovery document.
* Cache discovery documents to a tempfile and rename, to reduce the
  chances that we'll write corrupted caches due to I/O errors.
* Make this extension a separate module that can be loaded by users
  like the CLI SDK.
* Tighten exception handling throughout.

3686: add unit and controller tests for repository updates

3686: update the repository row to offer an exclusive Share link than make the repo name clickable.

3686: verify repositories testing uses hard coded repo info.

Merge branch 'master' into 3686-sharing-repositories

closes #4902
Merge branch '4902-use-fixture-to-rerun-pipelines'

Merge branch 'master' into 4902-use-fixture-to-rerun-pipelines

Merge branch 'master' into 3686-sharing-repositories

refs #4878
Merge branch '4878-rerun-job'

4878: add back the tab buttons partial.

Merge branch '4878-rerun-job-bcs-wip'

Closes #4878, #5067.

4878: Refactor Workbench "Re-run job" button for more code reuse.

* Avoid adding new routes: add the modal directly to the job show
  page, and submit the new work with the existing job creation route.
* Fix id references; e.g., for labels.

4902: re-run pipeline instance tests use fixtures instead of creating a new pipeline to be re-run.

4878: update the popup display to not display radio button when only "use same" option is available.

Merge branch 'master' into 4878-rerun-job

refs #4523
Merge branch '4523-search-index'

Merge branch 'master' into 3686-sharing-repositories

4523: a little bit simpler script

Merge branch 'master' into 4523-search-index

Merge branch '5087-fix-crunch-sigpipe-wip'

Closes #5087, #5089.

5087: crunch-job installer feeds tar incrementally.

When the input we give to tar is large enough (greater than 4-5MiB),
writing it all in one shot causes tar to die, and crunch-job to get
SIGPIPE.  Prevent this by feeding the input to tar in a series of
smaller writes.

4878: show only the re-run popup option

Merge branch 'master' into 4878-rerun-job

Wording tweaks for doc.arvados.org.

No issue #

Merge branch '4340-arv-ws-fix-ssl-warning'

Closes #4340

Merge branch 'master' into 4340-arv-ws-fix-ssl-warning

A few tweaks based on review feedback.

refs #4340

Merge branch '5010-trash-button-for-collections'

Fixes #5010.

5010: fixed integration test

Fixed a failing integration test that checked for the presence of a
collection in the Home project after being deleted.  Removed the
assertion that checked the Home project post-deletion.

3686: improve manage account page test to click on the repository link.

3686: enhance manage account test to also verify a writable repository.

3686: repository.editable_attributes returns an empty array when the user is not an admin.

3686: when a repository is manageable by a user, make repository name a link in manage_account page. In addition, do not offer Attributes tab in repository page if the user is not an admin.

arv-ws should prefer system's CA certificates (if available).

closes #4340

Merge branch '0000-workbench-user-profile-wording-changes'

No issue #

Merge branch 'master' into 0000-workbench-user-profile-wording-changes

refs #4926 Merge branch '4926-getting-started'

more typos

minor typos

5010: updated functional tests for new trash behavior

Renamed "project admin can remove items from the project" to "project
admin can remove collections from the project" and updated it to verify
that the target collection has actually been made inaccessible to API
queries.

Added "project admin can remove items from project other than
collections" test to verify that objects which don't support expires_at
continue to exhibit the old behavior.

4878: now the test works!

4878: add integration test for Re-run job with options.

Merge branch 'master' into 4878-rerun-job

4878: rerun job with options popup

4823: Bufferblocks are owned by a specific ArvadosFile

Merge branch '4889-crunch-deadlock'

Fixes #4889.

4889: improve error message, unit test

Per review in #4889-17:

Updated the CopyPipeToChan error message to be more descriptive, for the
benefit of anyone reading log output.

Corrected the test to confirm that the error message is received even if
the child process does not close the stderr log (which matches the usage
patterns in production).

Merge branch 'master' into 0000-workbench-user-profile-wording-changes

4926: typos & rewording

4889: added CopyPipeToChan unit test

Added TestCopyPipeToChanLongLines test to confirm that when
CopyPipeToChan attempts to read a line too long for bufio.Scanner, that
it generates an error message on the output channel.

Merge branch 'master' into 4523-search-index

4523: add a new migration script that invokes search_index migration down and up methods when a search_index with description is found (due to an earlier migration of search_index with descriptions).

refs #4523
Merge branch '4523-search-index'

4523: do not include descriptions in search index and update tests accordingly.

4823: More docstrings for public Collection and ArvFile API

5010: remove_items sets the expired_at date if available

On objects which support expired_at, remove_items will set that date
rather than moving them out of the current project.

4889: close the child stderr pipe before returning

Updated CopyPipeToChan to close the child's stderr pipe before
returning, so that even if it returns for some reason other than
EOF (e.g. line too long) the child will not deadlock on writing stderr
output.

Merge branch '3021-api-performance' refs #3021

4967: Fix API server Gemfile.

I'm kind of at a loss to explain what happened here.  Refs #4967.

4967: API server bundle uses bugfixed crunch-job.

Refs #4967, #4970.

Merge branch '4967-crunch-mount-cleanup-wip'

Closes #4967, #4970, #5039.

4967: crunch-job unmounts old Keep mounts more robustly.

The previous version looked for mounts under $JOB_WORK before
unmounting anything.  We long ago started mounting under $TASK_WORK,
so unmounting hasn't been working for a while.  This version unmounts
every FUSE mount with "keep" in the path, so it will be much more
flexible.

I also changed the cleanup to use bash -e, so the logs are more likely
to indicate if there was trouble during the cleanup step.

4926: Added 'getting started' section with three image galleries.

Merge branch '5016-ctrl-c-arv-ws' closes #5016

5029: API server uses bugfixed crunch-job.

Refs #5029.

5029: Fix crunch-job logging when SDK requested+virtualenv unavailable.

* Properly concatenate the message.

* Query and log installed SDK packages in this scenario, since we
  might fall back to what's available in the Docker image.

Closes #5029.