4520: Better checking to see if collection already exists at the destination.
Set args.project_uuid to default value (current user uuid) if not set on
command line to simplify code.

4520: Bonus fix because arv-copy was giving KeepClient.put() unicode strings
instead of byte strings.  KeepClient will now reject that.

4520: Refactor code to create the collection record.  Also refactored code
which creates Docker metadata links so that copying any collection which
represents a Docker image will also copy over the metadata.

3785: Upload job log to collection with --project-uuid same owner_uuid as job.

Merge branch '5277-fuse-mtime-fix' closes #5277

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: Clean up imports in collection.py

4823: Handle edge cases of files named '.' so that the FUSE test passes.  Added
tests for invalid manifests.  Defer populating CollectionReader streams until
needed to avoid extra copy of the manifest.

4232: revert experimental change to using find? for each of the jobs in a pipeline, rather than simply a where clause: there is no evidence that this switch to find? was helping to speed up anything overall

Merge branch 'master' into 4232-slow-pipes-n-jobs

4823: Fix tests broken by prior refactoring.  Renamed 'api.py' to 'apisetup.py'
so it wouldn't be awkwardly shadowed by the 'api' method.

4823: Refactoring.  ReadOnly Collection is now CollectionReader, replacing old
CollectionReader implementation (but maintains the same public API).

Fix typo on doc homepage.

No issue #

5277: Add test for mtime.  Use ciso8601 module to parse arvados timestamps.

4823: Revert FUSE changes unrelated to ThreadSafeApiCache

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: Fix fuse tests for SafeApi -> ThreadSafeApiCache changes.  Add a couple
of mtime assertions.

closes #5197
Merge branch '5197-collection-name-owner-unique'

4759: Update Node Manager to parse new Arvados API timestamps.

Refs #4759.

closes #5243, #5194 Merge branch '5194-quickfix-disambiguate-gettingstarted-sections'

Merge branch '3408-production-datamanager' refs #3408

5194: minor fixes

Merge branch 'master' into 3408-production-datamanager refs #3408

Changes to allow datamanager to run indefinitely:

Logger's worker goroutine returns after final write.
minutes-between-runs flag specifies how many minutes to wait between runs (0 means don't loop)

Merge branch '4138-node-manager-gce-wip'

Closes #4138, #5222.

Thanks, Tim.

4138: Prepare Node Manager GCE driver for production.

* Set node metadata in more appropriate places.
* Bridge more differences between GCE and EC2, like the fact that
  sizes are listed for each location they're available, and GCE
  doesn't provide node boot times.
* Use more infrastructure from BaseComputeNodeDriver to reduce code
  duplication.
* Load as many objects as possible at initialization time, to reduce
  API overhead of creating nodes.

4138: Revamp Node Manager driver proxying in BaseComputeNodeDriver.

Accessing attributes through a super() proxy does not invoke
__getattr__ on base classes, so the old implementation made it
impossible for subclasses to be agnostic about whether a method was
implemented in BaseComputeNodeDriver or the real libcloud driver.
This version makes that possible.  It's also a little nicer because
now the class will report these method names to dir(), hasattr(), etc.

4138: Refactor out Node Manager DriverTestMixin.

4138: Fix noop Node Manager EC2 driver tests.

The previous tests simply instantiated the driver, then checked that a
mock method was truthy (which it will always be).  This makes the test
work as intended.

4138: Refactor common Node Manager driver initialization to base driver.

4138: Simplify Node Manager GCE credential handling.

Because libcloud's GCE driver accepts a key path as a constructor
argument, it's relatively straightforward to put all the constructor
arguments directly in the Node Manager configuration.  No need to
parse out JSON.

4138: updated unit test

Corrected test_create_includes_ping_secret to account for delivering the
ping secret via metadata in GCE.

4138: GCE fixes

The 'network_id' parameter needs to be delivered as 'location' in GCE.

The ping_url parameter is now delivered in the node metadata as
'pingUrl'.

When creating a new GCE instance, 'name' is a required parameter and
must begin with a letter. The default name is the UUID of the
corresponding Arvados node, prepended with 'arv-'.

4138: general GCE fixes

* JSON credential file
** GCE credentials are delivered as a JSON string (and the key is formatted as a multi-line RSA private key). Let the GCE config file specify a path to the JSON credential file for simplicity.
* Accept NodeSizes addressed by id or name
** In EC2, NodeSizes are identified by the 'id' field.  In GCE they are identified by the 'name' field.  Allow the Node Manager config module to accept either.

4138: code review feedback

4138: support for Google Cloud Engine.

* Added:
** nodemanager/arvnodeman/computenode/drivers/gce.py
** nodemanager/doc/gce.example.cfg
** nodemanager/tests/test_computenode_driver_gce.py

Updated comment in nodemanager/arvnodeman/computenode/drivers/ec2.py.

5194: Quickfix, disambiguated getting started and user guide sections, added 'next steps' to getting started guide

Merge branch '3408-production-datamanager' refs #3408

More changes in response to Peter's review.

Started referencing keep servers by uuid.
Moved more logger init code into constructor call.
Switched logged timestamp label from time_* to *_at.

4520: tested copying, fixed bad 'properties' field

refs #5090 Merge branch '5090-doc-to-homepage'

4520: --project-uuid now used for owner_uuid on all create() calls.

3408: Merge branch 'master' into 3408-production-datamanager

4823: Record manifest_text response from API server.  Give better names to
some tests.

refs #4926 Merge branch '4926-rename-share.png'

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: More tests and fixes for updating and merging from remote api record.
Tests pass.

Merge branch '4759-timestamp-precision-TC' closes #4759

closes #5220
Merge branch '5220-no-sharing-box-for-anon-user'

4926: renamed share.png to sharing.png due to adblock on firefox

5220: whitespace cleanup.

4759: Add functional tests for timestamp precision.

4759: Add test for inequality filters.

4759: Ignore args to as_json.

5220: do not show "Sharing and permissions" box when an anonymous user is viewing a shared collection.

closes #5189
Merge branch '5189-manage-acct-shows-own-repos'

5189: a little cleanup

Merge branch 'master' into 5189-manage-acct-shows-own-repos

4823: Add new tests for BufferBlock, BlockManager, saving, updating.  Stylistic
changes on variable naming.  Remove splitting code from splitfastq.

5197: needed one more udpate

Merge branch '3410-replication-attrs' closes #3410 refs #5011

Merge branch 'master' into 5197-collection-name-owner-unique

Conflicts:
services/api/db/structure.sql

5197: down migration working

Merge branch 'master' into 5197-collection-name-owner-unique

5197: updated migration script

Fix typo in COPYING.

No issue #

5197: update the collection_owner_uuid_name_unique index to use expires_at is null where clause.

3410: Merge branch 'master' into 3410-replication-attrs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/unit/collection_test.rb

5197: write a failing test

4759: Use ISO 8601 timestamps with fractional seconds in API responses.

refs #5096
Merge branch '5096-wb-collection-name-or-desc-update'

Merge branch 'master' into 5096-wb-collection-name-or-desc-update

Conflicts:
apps/workbench/test/controllers/collections_controller_test.rb

5096: more efficient update method override.

Merge branch 'master' into 5189-manage-acct-shows-own-repos

Merge branch '5095-fuse-ls-takes-forever' closes #5095

4823: Notes on how the mocking works with requests.Session

5189: include owned repositories in the list of repositories returned in manage_account.

5095: _mtime on collection defaults to 0 instead of time.time().

Merge branch 'master' into 4823-python-sdk-writable-collection-api

Conflicts:
sdk/python/tests/arvados_testutil.py
services/fuse/arvados_fuse/__init__.py

5095: Set _mtime when the collection object is updated.

closes #5186
Merge branch '5186-collection-with-empty-properties'

5186: a few more test assertions.

3410: Update comments.

3410: Fix search index so [old versions of] tests pass after down-migration.

3410: Fix overly sensitive test.

5186: collection properties attribute is a hash

3410: Update comments.

3410: Rename maybe_clear_redundancy_confirmed to maybe_clear_replication_confirmed.

5096: if only collection name or description is being updated, do not include manifest_text in the request.

Ensure result order is predictable, even if client-provided orders do not specify a complete ordering.

Fixes intermittent test failures. Example (from
https://ci.curoverse.com/job/arvados-api-server/1305/console):

GroupsTest#test_get_all_pages_of_group-owned_objects [/data/1/jenkins/workspace/arvados-api-server/services/api/test/integration/groups_test.rb:31]:
Received 'zzzzz-4zz18-fy296fx3hot09f7' again on page 3.
<nil> expected but was
<true>.

No issue #

Merge branch '5011-thread-safe-test' refs #5011

Merge branch '5200-anonymous-download'

Closes #5200

Merge branch 'master' into 5200-anonymous-download

Minor fixes, see #5090

Merge branch 'master' into 3408-production-datamanager

Added different event types for started, partially complete and final log entries.

Moved some logging code from datamananager to loggerutil.

Updated logger to do all work in a dedicated goroutine, so we don't need to worry about locking. Small changes to calling code.

Renamed timestamp fields to begin with "time_"

Now fetch Keep Server Status and record it to the log. Renamed some fields and added a comment for a potential improvement to decrease lock contention.