6304: Merge branch 'master' into 6304-dns-update-fix

6304: Corrected test setup to make it pass.
Added a separator to the temp file so that its name is more readable.

6304: Clean up temp files that could exist in case of writing errors.
Also added a test for this case, not working properly atm.

Merge branch '11332-cwl-url-quoting' refs #11332

11332: Add @ to quote safelist.

11332: Use urllib quote/unquote to handle special chars (e.g. '#')

Merge branch '11237-google-api-python-client' refs #11237

11237: Tweak version dependencies.

11237: Don't build oauth2client on ubuntu1604

11237: Bump google-api-python-client to 1.6.2 for better compatability across
oauth2client and Python versions.

Merge branch '11209-unmount-subtype'

refs #11209

Increase ping delay in WatchdogActorTest to try and reduce spurious test failures.  no issue #

Add check that gnutls.h is available so pycurl can compile.  no issue #

Ensure chown does not fail on disappearing files and dirs

refs #11363

11209: Restrict --unmount* operations to given --subtype.

Add warnings about affecting other fuse mounts with --unmount flags.

Add missing test file refs #11423

Merge branch '8104-pycurl-721'

closes #8104

8104: Do not close sockets after giving them to pycurl. Reverts 7b31dd40b31bdbf7473b50fd407cd6f636657c69.

8104: Drop unnecessary lambda.

8104: Stop building pycurl package for ubuntu1604.

Merge branch '11423-cwl-collection-dir-ref' closes #11423

11423: Restore check to use pdh_path because it is only supposed to match Files
references.

Merge branch '7824-arvls-arvput-collection-api-usage'
Closes #7824

7824: Merge branch 'master' into 7824-arvls-arvput-collection-api-usage

8104: Remove pycurl<7.21.5 dependency.

8104: OPENSOCKETFUNCTION accepts calls from pycurl 7.21.

11308: Close socket after pycurl.

11423: Fix bug checking existence of Directories which refer to root of keep collections.

Merge branch '11413-nodemanager-gce-fixes' refs #11413

6304: Avoid possible dns update race condition by writing the temp file with unique name to avoid collisions.
Catch IO specific exceptions when trying to write the config files.
Added test to assert that no config file is written when the update command is not set up but the config dir is.

7824: Added test cases.

11413: Use getattr() in exception handler.

11413: Wrap destroy_node with similar logic to create_node: on exception check
the node list to determine if the node was actually destroyed successfully.

Merge branch '11100-cr-output-ttl'

refs #11100

11413: Fix issues with node manager on GCE:

* Always override Node.size with CloudSizeWrapper

* Get updated node record before setting metadata to minimize 'Supplied
  fingerprint does not match current metadata fingerprint.' error.

* Use ex_set_node_metadata() instead of issuing request directly.

7824: Now a subdirectory can be asked to be listed. Also, enhanced error message when asking for a non existant collection.

7824: Several improvements:
* Added error reporting on cases where the user ask for downloading a nonexisting file/subdir inside a collection.
* Enhanced error message when the user ask to download a non existing collection.
* Improved the collection traversal when downloading a subcollection.
* Exit with an error message when asking for a subcollection name without the trailing '/'.
* Error out if asking to get a subcollection with '-' as destination.
* Test updated.

Merge branch '11407-go-sdk-debug' closes #11407

11407: keepclient checks for ARVADOS_DEBUG and enables debugging.

7824: Log errors when trying to read the collection specified.

7824: Closing file when finished writing

11100: Adjust delete_at in before_validation hook instead of validation. Permit changing trash_at without extending delete_at.

11100: Specify units in output_ttl docs.

11402: Disable caching if $HOME/ is not writable, instead of returning a broken cache.

closes #11402

closes #11368
Merge branch '11368-collection-file-rename-warning'

11368: show error if user tries to rename a collection file with a duplicate name.

Merge branch '11398-nodes-items-available'

refs #11398

11398: Fix missing items_available in nodes#index response.

7824: Use logging facility to show error messages.

Merge branch '9132-dockerclient' closes #9132

7824: Updated code to use newer Collection APIs, leaving all_streams() and all_files() behind.

9132: Fix test errors due to rebase.

Fix package test for ubuntu1204.

refs #10797

11100: If caller sets collection.delete_at too early, set it to the earliest allowed time instead of failing.

9132: Fix ContainerCreate to include HostConfig, container UUID as name.

11100: Add comment about delete_at validation race.

11100: Clean up permission checks.

11100: Add container_requests.output_ttl field. Fix validation of output/log changes on finalized CRs.

7824: Moved arv-get code to arvados.commands and replaced bin/arv-get with a stub caller.

9132: Fix after rebase

9132: Use ThinDockerClientProxy to overcome the import issue around "github.com/docker/docker/vendor/golang.org/x/net/context".
Perform most of the test updates needed to use the new API.

9132: few more updates to use the new API

9132: WIP switching to using official Docker Go client.

Merge branch '11332-fix-crunchscript' refs #11332

7824: Further ordering fixes. Now all arv-ls tests passes.

Merge branch '7709-api-rails4' (partial)

refs #7709
refs #11100

7824: Fix upper/lower case ordering on arv-ls.

7709: De-duplicate "ensure unique name" implementations.

7709: Do not set job_readable when it won't be used.

7709: Leave container_request alone when applying default keep_cache_ram value.

7709: Fix tests (count existing links before adding new ones).

11209: Restore missing import.

refs #11209

11332-fix-crunchscript: Set ACCEPTLIST_RE because crunch_script alternate entry
point doesn't go through main.

11355: Arvados gems accept json 2.x.

refs #11355

Merge branch '11235-log-retryable'

refs #11235

11235: Log a message when a job is interrupted by node failure.

...and say what's going to happen as a result, even if that is not
"giving up" yet.

closes #3821
Merge branch '3821-collection-file-manage'

Fix invalid records in API collections test fixture and improve error message
to include both values.  Incidentally revealed by adding PDH index to
collections table.  refs #11361

3821: improve the tooltip on rename file option.

Fix packaging for python-arvados-cwl-runner refs #11333

Merge branch '11361-pdh-index'

refs #11361

11361: Add pdh index to collections table.

Merge branch '11209-unmount-replace'

refs #11209

Merge branch '11333-cwl-phone-home' closes #11333

3821: update test assertion that randomly fails; in fact, I don't see how it ever worked with that syntax.

11333: Add explicit version pin on 'typing'

11332: Suppress phone-home behavior in check_exists by recognizing
http://arvados.org/cwl and returning True.

Merge branch '11332-cwl-filenames' closes #11332

Merge branch 'master' into 3821-collection-file-manage

3821: collection viewed from another object

3821: The "Remove selected files" option should only be presented if the user can update the collection.

11332: Override relaxed path checks to be even more relaxed, and bump cwltool &
schema salad pin for hashes-in-filenames fix.

3821: attr_accessor not needed on collection "filename"

3821: add an integration test to rename a file in a collection

11209: Test using ./bin/arv-mount from source dir.

3821: integration test to remove files from a collection

11209: Replace "--unmount /path/..." with "--unmount-all /path".

11209: Fix daemon mode.

DaemonContext cannot happen after listen_for_events().

3821: collection controller tests for remove and rename files.

Update cwl test_submit refs #10401