Merge branch '5043-crunchstat-long-lines' closes #5043

5043: Remove errant +1 from error message.

closes #5349
Merge branch '5349-timestamp-error-for-running-pipeline'

5349: update test to use a new fixture.

5349: Add test to protect bugfix in a1d70a2116673ac46f4946115bdb5048137689a2. Fix regression.

Merge branch 'master' into 5349-timestamp-error-for-running-pipeline

Merge branch '5322-sso-manual-account-doc' closes #5322

Merge branch '5305-arv-copy-fixes' closes #5305

Fixed SafeApi -> ThreadSafeApiCache refs #4823

Fix arv-mount use arvados.config.settings() to initialize ThreadSafeApiCache
refs #4823

5305: Remove erroneous comment

5305: Added num_retries to all execute() calls.  Refactored
collection-name-choosing logic to be easier to follow.

5043: Split long stderr lines rather than consume unlimited memory.

Follow the naming conventions for hostnames; add SSO server as a
public-facing service that requires an SSL certificate.

refs #5322

Merge branch '5313-node-manager-gce-fixups2-wip'

Refs #5313.

5313: Rely more on datacenter constructor in Node Manager GCE driver.

When initialized with a datacenter argument, the GCE libcloud driver
acts a lot more like the EC2 one.  Many listings are implicitly
limited to that zone, saving us the need of limiting searches
ourselves.  Let's rely on libcloud instead of our own code.

5313: Revert Node Manager's GCE boot disk destroy code.

After upgrading to libcloud>=0.16, it's redundant to create a node
with ex_disk_auto_delete=True, then destroy the node with
destory_boot_disk=True.  During the destroy process, libcloud will
fail to destroy the boot disk, because Google has already deleted it.
ex_disk_auto_delete is closer to what we want, so just rely on that.

Update arvados-fuse dependency on python sdk refs #4823

Merge branch '4823-python-sdk-writable-collection-api' closes #4823

4823: Docstring and comment fixes.

5043: Use Go's log package to serialize writes. Lose logChan.

5349: Reverted "Time.iso8601(current_job[:created_at]" back to "current_job[:created_at]". All tests and manual testing passed and no negative side effects are observed.

4823: More fixes and cleanups.

* Renamed SynchronizedCollectionBase to RichCollectionBase
* Renamed arvapi parameter of one_task_per_input_file to api_client
* KeepLocator.stripped() returns bare hash if self.size is None
* Permit closing an ArvadosFileWriter more than once
* Fix various docstrings
* Strive to follow PEP 8 spacing guidelines

Merge branch 'origin-5309-keepproxy-panic' closes #5309

5309: Add comment about testing for content-length error bug.

5043: Accept long stderr lines from crunch tasks.

Merge branch '4751-node-manager-stricter-node-pairing-wip'

Closes #4751, #5351.

4751: Node Manager considers ping times for stricter node pairing.

Because the pairing decision is currently based on IP address alone,
Node Manager will occasionally pair a cloud node with the wrong
Arvados node after an IP address is reused.  Fix that by bringing the
node's first_ping_at into consideration: if it's older than the cloud
node, refuse to pair.

Merge branch '5313-node-manager-gce-fixes-wip'

Closes #5313, #5350.

5313: Node Manager's GCE driver destroys boot disks reliably.

This more closely matches the behavior of the EC2 driver, which we
want.

* Upgrade to libcloud 0.16, which adds an ex_disk_auto_delete argument
  to GCE's create_node method, with True as the default.
* Set destroy_boot_disk=True when calling destroy_node().

5313: Rename Node Manager's `user-data` GCE tag to `arv-ping-url`.

`user-data` is an EC2-specific name.  `arv-ping-url` more clearly
describes what's in it.

5305: Add heuristics to choose name when collection is referenced by PDH instead of uuid

Merge branch '5283-crunch-collation-safety-wip'

Closes #5283, #5306.

5283: Log more crunch-job output handling.

Requested during code review.

5283: crunch-job doesn't use freeze logic after a job fails.

If the job has failed permanently, we want to go through all the
end-of-job logic.  Previously, we were getting sidetracked into
freeze_if_want_freeze, which skips some steps like setting the
permanent job output record.  Refs #4472.

5283: Improve reliability of crunch-job output collation.

* Check the results of all pipe opens, exit statuses, and writes.
  Log any problems.
* Have fetch_block return undef when it encounters trouble, rather
  than dying.  create_output_collection already checks for this, so it
  effectively bubbles up the error.
* Retry all of the associated API calls.
* Kill the manifest creation pipe if we give up on it, per the TODO.

This probably won't resolve #5283, but hopefully these changes will
give us additional information to help diagnose the problem.

5305: Handle collection pdh for docker image

5322: Add documentation to "install SSO" section.  (Possibly this should go
into the admin guide, the admin guide is kind of useless right now.)

Move the licensing info out of the second column and towards the footer of the page on the doc site.

No issue #

Merge branch '5310-arv-copy-by-pdh'

refs #5310

Merge branch 'master' into 5310-arv-copy-by-pdh

4823: Add flush() to ArvadosFile.  Fix tests to avoid using internal APIs.  Fix
import in _normalize_stream.  Make KeepRequestError more generic (now
represents a list of "request errors" instead of "service errors").

Merge branch '4232-slow-pipes-n-jobs' closes #4232

5309: Fix keepclient and keepproxy bugs related to error handling:
* KeepClient: Handle nil response and nil response Body from Client.Do(GET)
* KeepProxy: Only defer reader.Close() if reader is not nil
* KeepProxy tests: Add test for GET failure to read (404)

5310: Use c.get('name') instead of c['name']

* 'name' isn't necessarily present when obj_uuid is a PDH,
  src.collections().get(uuid=obj_uuid).execute() may return a synthetic record
  without a name field.

4823: Add arvapi parameter to one_task_per_input_file() to solve mocking
problems.  Refactor Collection.copy() and add Collection.add().  Fix docstring
bugs.

Merge branch 'master' into 4823-python-sdk-writable-collection-api

Merge branch 'master' into 4232-slow-pipes-n-jobs

4232: remove traces of no-longer-needed "dependency" code for pipeline_instances

4823: Remove sync_mode() from Collection in favor of writable() flag.
Collection constructor raises ArgumentError() on bad manifest.  Fix
assertEquals() -> assertEqual().

Merge branch '3785-job-log-collection-owner' closes #3785

Merge branch '4520-arv-copy-project-uuid' closes #4520

4520: Tweak test that put(u'foo') does the right thing.

4520: Coerce unicode strings to ascii in put().  Use result.content (returns
literal result bytes) instead result.text (returns unicode) when processing
Keep responses.

3785: Log tab is no longer suppressed for anonymous users.

4520: manifest_text() is utf-8 encoded by default so it can be safely put() to
Keep.  Add test that calling put() with a unicode string raises an error.
Fetching user uuid in arv-copy uses num_retries.

4520: Better checking to see if collection already exists at the destination.
Set args.project_uuid to default value (current user uuid) if not set on
command line to simplify code.

4520: Bonus fix because arv-copy was giving KeepClient.put() unicode strings
instead of byte strings.  KeepClient will now reject that.

4520: Refactor code to create the collection record.  Also refactored code
which creates Docker metadata links so that copying any collection which
represents a Docker image will also copy over the metadata.

3785: Upload job log to collection with --project-uuid same owner_uuid as job.

Merge branch '5277-fuse-mtime-fix' closes #5277

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: Clean up imports in collection.py

4823: Handle edge cases of files named '.' so that the FUSE test passes.  Added
tests for invalid manifests.  Defer populating CollectionReader streams until
needed to avoid extra copy of the manifest.

4232: revert experimental change to using find? for each of the jobs in a pipeline, rather than simply a where clause: there is no evidence that this switch to find? was helping to speed up anything overall

Merge branch 'master' into 4232-slow-pipes-n-jobs

4823: Fix tests broken by prior refactoring.  Renamed 'api.py' to 'apisetup.py'
so it wouldn't be awkwardly shadowed by the 'api' method.

4823: Refactoring.  ReadOnly Collection is now CollectionReader, replacing old
CollectionReader implementation (but maintains the same public API).

Fix typo on doc homepage.

No issue #

5277: Add test for mtime.  Use ciso8601 module to parse arvados timestamps.

4823: Revert FUSE changes unrelated to ThreadSafeApiCache

Merge branch 'master' into 4823-python-sdk-writable-collection-api

4823: Fix fuse tests for SafeApi -> ThreadSafeApiCache changes.  Add a couple
of mtime assertions.

closes #5197
Merge branch '5197-collection-name-owner-unique'

4759: Update Node Manager to parse new Arvados API timestamps.

Refs #4759.

closes #5243, #5194 Merge branch '5194-quickfix-disambiguate-gettingstarted-sections'

Merge branch '3408-production-datamanager' refs #3408

5194: minor fixes

Merge branch 'master' into 3408-production-datamanager refs #3408

Changes to allow datamanager to run indefinitely:

Logger's worker goroutine returns after final write.
minutes-between-runs flag specifies how many minutes to wait between runs (0 means don't loop)

Merge branch '4138-node-manager-gce-wip'

Closes #4138, #5222.

Thanks, Tim.

4138: Prepare Node Manager GCE driver for production.

* Set node metadata in more appropriate places.
* Bridge more differences between GCE and EC2, like the fact that
  sizes are listed for each location they're available, and GCE
  doesn't provide node boot times.
* Use more infrastructure from BaseComputeNodeDriver to reduce code
  duplication.
* Load as many objects as possible at initialization time, to reduce
  API overhead of creating nodes.

4138: Revamp Node Manager driver proxying in BaseComputeNodeDriver.

Accessing attributes through a super() proxy does not invoke
__getattr__ on base classes, so the old implementation made it
impossible for subclasses to be agnostic about whether a method was
implemented in BaseComputeNodeDriver or the real libcloud driver.
This version makes that possible.  It's also a little nicer because
now the class will report these method names to dir(), hasattr(), etc.

4138: Refactor out Node Manager DriverTestMixin.

4138: Fix noop Node Manager EC2 driver tests.

The previous tests simply instantiated the driver, then checked that a
mock method was truthy (which it will always be).  This makes the test
work as intended.

4138: Refactor common Node Manager driver initialization to base driver.

4138: Simplify Node Manager GCE credential handling.

Because libcloud's GCE driver accepts a key path as a constructor
argument, it's relatively straightforward to put all the constructor
arguments directly in the Node Manager configuration.  No need to
parse out JSON.

4138: updated unit test

Corrected test_create_includes_ping_secret to account for delivering the
ping secret via metadata in GCE.

4138: GCE fixes

The 'network_id' parameter needs to be delivered as 'location' in GCE.

The ping_url parameter is now delivered in the node metadata as
'pingUrl'.

When creating a new GCE instance, 'name' is a required parameter and
must begin with a letter. The default name is the UUID of the
corresponding Arvados node, prepended with 'arv-'.

4138: general GCE fixes

* JSON credential file
** GCE credentials are delivered as a JSON string (and the key is formatted as a multi-line RSA private key). Let the GCE config file specify a path to the JSON credential file for simplicity.
* Accept NodeSizes addressed by id or name
** In EC2, NodeSizes are identified by the 'id' field.  In GCE they are identified by the 'name' field.  Allow the Node Manager config module to accept either.

4138: code review feedback

4138: support for Google Cloud Engine.

* Added:
** nodemanager/arvnodeman/computenode/drivers/gce.py
** nodemanager/doc/gce.example.cfg
** nodemanager/tests/test_computenode_driver_gce.py

Updated comment in nodemanager/arvnodeman/computenode/drivers/ec2.py.

5194: Quickfix, disambiguated getting started and user guide sections, added 'next steps' to getting started guide

Merge branch '3408-production-datamanager' refs #3408

More changes in response to Peter's review.

Started referencing keep servers by uuid.
Moved more logger init code into constructor call.
Switched logged timestamp label from time_* to *_at.

4520: tested copying, fixed bad 'properties' field

refs #5090 Merge branch '5090-doc-to-homepage'

4520: --project-uuid now used for owner_uuid on all create() calls.

3408: Merge branch 'master' into 3408-production-datamanager

4823: Record manifest_text response from API server.  Give better names to
some tests.