Merge branch 'master' into 5374-hide-collection-checkboxes-anonymous

Merge branch 'master' into 5374-hide-collection-checkboxes-anonymous

3761: get keep services

5182: Advise adding CORS headers to proxy error responses.

5319: Include CurrentApiClient in migration model.

Needed to use system_user_uuid.  Refs #5319.

Merge branch '5319-fix-hinted-collection-hashes-wip'

Closes #5319, #5369.

5319: Add API migration for manifests with bad portable data hashes.

Refer to #5319 for background discussion and rationale.  The migration
ensures that collections are still addressable by the bad
portable_data_hash, but the existing collection object has the correct
portable_data_hash.

5319: Fix incorrect portable_data_hash in test fixture.

Merge branch 'master' into 3761-pull-list-worker

Merge branch '5261-project-description' closes #5261

5261: Fix DST transition bug: browser timezone != test suite timezone.

5190: tell user to not use hyphens in tooltip for repository name editable attribute

5261: Merge branch 'master' into 5261-project-description

5261: Change placeholder text from "New group" to "New project"

5374: in collection show page, hide checkboxes for anonymous user view.

3761: integration test WIP

3761: (WIP) add integration test for pull_worker

5105: Include form data with report_issue request.

3761: update GetContent function to use read_content test data info.

3761: move test assertions from teardown method into performTest function for better readability of code.

5261: Rename Summary tab to Description.

5261: Move project name from Summary tab back to heading area.

5105: Skip database reset where we use a mock instead of the real API.

5105: Remove unnecessary self.included/class_eval stuff.

5105: Really call the report_issue action, instead of fetching "/",
when the "send" button is clicked.

5105: Tidy up test case.

5105: Treat not-logged-in AJAX requests as errors, instead of redirecting to login prompts.

5105: Move displaced comment.

5105: Add API stub helpers and basic ArvadosApiClient unit tests.

3761: Improve the tests to RunTestPullWorker for each test and verify the queue is empty at the end of test.
Add a test that puts two items on the queue and verifies that old item is overwritten by the new item.

3761: verify ReadContent and PutContent outputs.

5261: Fix {redirect_to @object} usage.

3761: include names in test data initializations

5261: Redirect to destination project's Collections tab when copying/moving collections.

5261: When redirecting during an AJAX request, send the target URI in
a JSON object {"href":"..."} instead of responding 302.

This lets us use "redirect_to X" to mean "send the user to page X"
regardless of whether the request is an XHR. Without it, client-side
code never sees the 302 at all: the browser handles the redirect
transparently, and the client-side code typically ends up trying to
parse HTML content as JSON.

5261: Update tests.

3761: log errors in RunPullWorker instead of Pull method.

3761: pass keepClient to Pull method

Merge branch 'master' into 3761-pull-list-worker

5145: add tests to verify combine collections with duplicate filenames

Merge branch 'master' into 5145-combine-collections-repeated-filenames

5145: while combining colletions, append an integer for any duplicate files.

5261: Move project name and description into a Summary tab.

Reduce tab font size to reduce chances of word-wrapping tabs.

Merge branch '4956-limit-request-size' refs #4956

4956: Mark monkey patching methods as internal

4956: Refactor http request patching used in Python SDK.
Test_request_too_large uses published size instead of hardcoded size.  Make
note that user must configure upstream web server to set request size limits.

Merge branch '5246-urllib3-workaround' closes #5246

5246: Use pkg_resources.parse_version to test urllib3 version string.  Identify
Debian 8 specifically in comment.

Merge branch '5043-crunchstat-long-lines' closes #5043

5246: Add urllib3 workaround, along with a note why it is necessary.

4956: Add maximum request size checking to http_request patch in api.py.
Raises MediaUploadSizeError if the request is too big.

5043: Remove errant +1 from error message.

closes #5349
Merge branch '5349-timestamp-error-for-running-pipeline'

5349: update test to use a new fixture.

5349: Add test to protect bugfix in a1d70a2116673ac46f4946115bdb5048137689a2. Fix regression.

Merge branch 'master' into 5349-timestamp-error-for-running-pipeline

3761: Pass pullq to RunPullWorker

Merge branch 'master' into 3761-pull-list-worker

3761: pass keepclient as an arg to RunPullWorker

Merge branch '5322-sso-manual-account-doc' closes #5322

Merge branch '5305-arv-copy-fixes' closes #5305

Fixed SafeApi -> ThreadSafeApiCache refs #4823

Fix arv-mount use arvados.config.settings() to initialize ThreadSafeApiCache
refs #4823

5305: Remove erroneous comment

4956: Add 'maxRequestSize' to discovery document

5305: Added num_retries to all execute() calls.  Refactored
collection-name-choosing logic to be easier to follow.

Merge branch 'master' into 3761-pull-list-worker

3761: improved tests with delays

5043: Split long stderr lines rather than consume unlimited memory.

Follow the naming conventions for hostnames; add SSO server as a
public-facing service that requires an SSL certificate.

refs #5322

Merge branch '5313-node-manager-gce-fixups2-wip'

Refs #5313.

5313: Rely more on datacenter constructor in Node Manager GCE driver.

When initialized with a datacenter argument, the GCE libcloud driver
acts a lot more like the EC2 one.  Many listings are implicitly
limited to that zone, saving us the need of limiting searches
ourselves.  Let's rely on libcloud instead of our own code.

5313: Revert Node Manager's GCE boot disk destroy code.

After upgrading to libcloud>=0.16, it's redundant to create a node
with ex_disk_auto_delete=True, then destroy the node with
destory_boot_disk=True.  During the destroy process, libcloud will
fail to destroy the boot disk, because Google has already deleted it.
ex_disk_auto_delete is closer to what we want, so just rely on that.

Update arvados-fuse dependency on python sdk refs #4823

Merge branch '4823-python-sdk-writable-collection-api' closes #4823

4823: Docstring and comment fixes.

5043: Use Go's log package to serialize writes. Lose logChan.

3761: code refactoring

Merge branch 'master' into 3761-pull-list-worker

5349: Reverted "Time.iso8601(current_job[:created_at]" back to "current_job[:created_at]". All tests and manual testing passed and no negative side effects are observed.

4823: More fixes and cleanups.

* Renamed SynchronizedCollectionBase to RichCollectionBase
* Renamed arvapi parameter of one_task_per_input_file to api_client
* KeepLocator.stripped() returns bare hash if self.size is None
* Permit closing an ArvadosFileWriter more than once
* Fix various docstrings
* Strive to follow PEP 8 spacing guidelines

Merge branch 'origin-5309-keepproxy-panic' closes #5309

5309: Add comment about testing for content-length error bug.

5043: Accept long stderr lines from crunch tasks.

Merge branch '4751-node-manager-stricter-node-pairing-wip'

Closes #4751, #5351.

4751: Node Manager considers ping times for stricter node pairing.

Because the pairing decision is currently based on IP address alone,
Node Manager will occasionally pair a cloud node with the wrong
Arvados node after an IP address is reused.  Fix that by bringing the
node's first_ping_at into consideration: if it's older than the cloud
node, refuse to pair.

Merge branch '5313-node-manager-gce-fixes-wip'

Closes #5313, #5350.

3761: use SignLocator

5313: Node Manager's GCE driver destroys boot disks reliably.

This more closely matches the behavior of the EC2 driver, which we
want.

* Upgrade to libcloud 0.16, which adds an ex_disk_auto_delete argument
  to GCE's create_node method, with True as the default.
* Set destroy_boot_disk=True when calling destroy_node().

5313: Rename Node Manager's `user-data` GCE tag to `arv-ping-url`.

`user-data` is an EC2-specific name.  `arv-ping-url` more clearly
describes what's in it.

5305: Add heuristics to choose name when collection is referenced by PDH instead of uuid

Merge branch 'master' into 3761-pull-list-worker

3761: additional tests

Merge branch '5283-crunch-collation-safety-wip'

Closes #5283, #5306.

5283: Log more crunch-job output handling.

Requested during code review.

5283: crunch-job doesn't use freeze logic after a job fails.

If the job has failed permanently, we want to go through all the
end-of-job logic.  Previously, we were getting sidetracked into
freeze_if_want_freeze, which skips some steps like setting the
permanent job output record.  Refs #4472.

5283: Improve reliability of crunch-job output collation.

* Check the results of all pipe opens, exit statuses, and writes.
  Log any problems.
* Have fetch_block return undef when it encounters trouble, rather
  than dying.  create_output_collection already checks for this, so it
  effectively bubbles up the error.
* Retry all of the associated API calls.
* Kill the manifest creation pipe if we give up on it, per the TODO.

This probably won't resolve #5283, but hopefully these changes will
give us additional information to help diagnose the problem.

5305: Handle collection pdh for docker image

5322: Add documentation to "install SSO" section.  (Possibly this should go
into the admin guide, the admin guide is kind of useless right now.)

3761: Run pull list worker, which processes pull reqests from the list.