Merge branch '4232-slow-pipes-n-jobs' closes #4232

Merge branch 'master' into 4232-slow-pipes-n-jobs

4232: remove traces of no-longer-needed "dependency" code for pipeline_instances

Merge branch '3785-job-log-collection-owner' closes #3785

Merge branch '4520-arv-copy-project-uuid' closes #4520

4520: Tweak test that put(u'foo') does the right thing.

4520: Coerce unicode strings to ascii in put().  Use result.content (returns
literal result bytes) instead result.text (returns unicode) when processing
Keep responses.

3785: Log tab is no longer suppressed for anonymous users.

4520: manifest_text() is utf-8 encoded by default so it can be safely put() to
Keep.  Add test that calling put() with a unicode string raises an error.
Fetching user uuid in arv-copy uses num_retries.

4520: Better checking to see if collection already exists at the destination.
Set args.project_uuid to default value (current user uuid) if not set on
command line to simplify code.

4520: Bonus fix because arv-copy was giving KeepClient.put() unicode strings
instead of byte strings.  KeepClient will now reject that.

4520: Refactor code to create the collection record.  Also refactored code
which creates Docker metadata links so that copying any collection which
represents a Docker image will also copy over the metadata.

3785: Upload job log to collection with --project-uuid same owner_uuid as job.

Merge branch '5277-fuse-mtime-fix' closes #5277

4232: revert experimental change to using find? for each of the jobs in a pipeline, rather than simply a where clause: there is no evidence that this switch to find? was helping to speed up anything overall

Merge branch 'master' into 4232-slow-pipes-n-jobs

Fix typo on doc homepage.

No issue #

5277: Add test for mtime.  Use ciso8601 module to parse arvados timestamps.

closes #5197
Merge branch '5197-collection-name-owner-unique'

4759: Update Node Manager to parse new Arvados API timestamps.

Refs #4759.

closes #5243, #5194 Merge branch '5194-quickfix-disambiguate-gettingstarted-sections'

Merge branch '3408-production-datamanager' refs #3408

5194: minor fixes

Merge branch 'master' into 3408-production-datamanager refs #3408

Changes to allow datamanager to run indefinitely:

Logger's worker goroutine returns after final write.
minutes-between-runs flag specifies how many minutes to wait between runs (0 means don't loop)

Merge branch '4138-node-manager-gce-wip'

Closes #4138, #5222.

Thanks, Tim.

4138: Prepare Node Manager GCE driver for production.

* Set node metadata in more appropriate places.
* Bridge more differences between GCE and EC2, like the fact that
  sizes are listed for each location they're available, and GCE
  doesn't provide node boot times.
* Use more infrastructure from BaseComputeNodeDriver to reduce code
  duplication.
* Load as many objects as possible at initialization time, to reduce
  API overhead of creating nodes.

4138: Revamp Node Manager driver proxying in BaseComputeNodeDriver.

Accessing attributes through a super() proxy does not invoke
__getattr__ on base classes, so the old implementation made it
impossible for subclasses to be agnostic about whether a method was
implemented in BaseComputeNodeDriver or the real libcloud driver.
This version makes that possible.  It's also a little nicer because
now the class will report these method names to dir(), hasattr(), etc.

4138: Refactor out Node Manager DriverTestMixin.

4138: Fix noop Node Manager EC2 driver tests.

The previous tests simply instantiated the driver, then checked that a
mock method was truthy (which it will always be).  This makes the test
work as intended.

4138: Refactor common Node Manager driver initialization to base driver.

4138: Simplify Node Manager GCE credential handling.

Because libcloud's GCE driver accepts a key path as a constructor
argument, it's relatively straightforward to put all the constructor
arguments directly in the Node Manager configuration.  No need to
parse out JSON.

4138: updated unit test

Corrected test_create_includes_ping_secret to account for delivering the
ping secret via metadata in GCE.

4138: GCE fixes

The 'network_id' parameter needs to be delivered as 'location' in GCE.

The ping_url parameter is now delivered in the node metadata as
'pingUrl'.

When creating a new GCE instance, 'name' is a required parameter and
must begin with a letter. The default name is the UUID of the
corresponding Arvados node, prepended with 'arv-'.

4138: general GCE fixes

* JSON credential file
** GCE credentials are delivered as a JSON string (and the key is formatted as a multi-line RSA private key). Let the GCE config file specify a path to the JSON credential file for simplicity.
* Accept NodeSizes addressed by id or name
** In EC2, NodeSizes are identified by the 'id' field.  In GCE they are identified by the 'name' field.  Allow the Node Manager config module to accept either.

4138: code review feedback

4138: support for Google Cloud Engine.

* Added:
** nodemanager/arvnodeman/computenode/drivers/gce.py
** nodemanager/doc/gce.example.cfg
** nodemanager/tests/test_computenode_driver_gce.py

Updated comment in nodemanager/arvnodeman/computenode/drivers/ec2.py.

5194: Quickfix, disambiguated getting started and user guide sections, added 'next steps' to getting started guide

Merge branch '3408-production-datamanager' refs #3408

More changes in response to Peter's review.

Started referencing keep servers by uuid.
Moved more logger init code into constructor call.
Switched logged timestamp label from time_* to *_at.

4520: tested copying, fixed bad 'properties' field

refs #5090 Merge branch '5090-doc-to-homepage'

4520: --project-uuid now used for owner_uuid on all create() calls.

3408: Merge branch 'master' into 3408-production-datamanager

refs #4926 Merge branch '4926-rename-share.png'

Merge branch '4759-timestamp-precision-TC' closes #4759

closes #5220
Merge branch '5220-no-sharing-box-for-anon-user'

4926: renamed share.png to sharing.png due to adblock on firefox

5220: whitespace cleanup.

4759: Add functional tests for timestamp precision.

4759: Add test for inequality filters.

4759: Ignore args to as_json.

5220: do not show "Sharing and permissions" box when an anonymous user is viewing a shared collection.

closes #5189
Merge branch '5189-manage-acct-shows-own-repos'

5189: a little cleanup

Merge branch 'master' into 5189-manage-acct-shows-own-repos

5197: needed one more udpate

Merge branch '3410-replication-attrs' closes #3410 refs #5011

Merge branch 'master' into 5197-collection-name-owner-unique

Conflicts:
services/api/db/structure.sql

5197: down migration working

Merge branch 'master' into 5197-collection-name-owner-unique

5197: updated migration script

Fix typo in COPYING.

No issue #

5197: update the collection_owner_uuid_name_unique index to use expires_at is null where clause.

3410: Merge branch 'master' into 3410-replication-attrs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/unit/collection_test.rb

5197: write a failing test

4759: Use ISO 8601 timestamps with fractional seconds in API responses.

refs #5096
Merge branch '5096-wb-collection-name-or-desc-update'

Merge branch 'master' into 5096-wb-collection-name-or-desc-update

Conflicts:
apps/workbench/test/controllers/collections_controller_test.rb

5096: more efficient update method override.

Merge branch 'master' into 5189-manage-acct-shows-own-repos

Merge branch '5095-fuse-ls-takes-forever' closes #5095

5189: include owned repositories in the list of repositories returned in manage_account.

5095: _mtime on collection defaults to 0 instead of time.time().

5095: Set _mtime when the collection object is updated.

closes #5186
Merge branch '5186-collection-with-empty-properties'

5186: a few more test assertions.

3410: Update comments.

3410: Fix search index so [old versions of] tests pass after down-migration.

3410: Fix overly sensitive test.

5186: collection properties attribute is a hash

3410: Update comments.

3410: Rename maybe_clear_redundancy_confirmed to maybe_clear_replication_confirmed.

5096: if only collection name or description is being updated, do not include manifest_text in the request.

Ensure result order is predictable, even if client-provided orders do not specify a complete ordering.

Fixes intermittent test failures. Example (from
https://ci.curoverse.com/job/arvados-api-server/1305/console):

GroupsTest#test_get_all_pages_of_group-owned_objects [/data/1/jenkins/workspace/arvados-api-server/services/api/test/integration/groups_test.rb:31]:
Received 'zzzzz-4zz18-fy296fx3hot09f7' again on page 3.
<nil> expected but was
<true>.

No issue #

Merge branch '5011-thread-safe-test' refs #5011

Merge branch '5200-anonymous-download'

Closes #5200

Merge branch 'master' into 5200-anonymous-download

Minor fixes, see #5090

Merge branch 'master' into 3408-production-datamanager

Added different event types for started, partially complete and final log entries.

Moved some logging code from datamananager to loggerutil.

Updated logger to do all work in a dedicated goroutine, so we don't need to worry about locking. Small changes to calling code.

Renamed timestamp fields to begin with "time_"

Now fetch Keep Server Status and record it to the log. Renamed some fields and added a comment for a potential improvement to decrease lock contention.

Improved erorr message to make it clear what's a size and what's a timestamp.

Renamed BlockDigest's ToString() to String() to implement fmt.Stringer() interface so that we get more readable error messages when structs contain BlockDigests.

A bunch of changes, most in response to Peter's review.

Logger:
Edit() and Record() have been replaced with the single Update() method which takes a function as input (suggested by Tom).
lastWrite replaced by nextWriteAllowed, for cleaner logic
Added writeScheduled to reduce the number of writes scheduled and attempted, thereby reducing lock contention
Added sanity-checking of params
A bunch of overdue cleanup
Update documentation to reflect the above changes

Manifest:
Renamed ManifestLine to ManifestStream

Util:
Deleted a lot of crap that proved less useful than I thought.
Moved collection.NumberCollectionsAvailable() to util.NumberItemsAvailable() and made it more generic.

collection:
Just cleanup in response to changes in above packages.

keep:
Switched Mtime from int to int64 to avoid y2038 problems.
Switched approach for avoiding keep proxy from using "accessible" to filtering on service_type = disk.
Cleanup in response to changes in above packages.

loggerutil:
Cleanup in response to changes in logger.

Added comment, ran gofmt.

Added Logger.MutateLog() on Tom's suggestion. Tried it out in one instance to make sure it works.