Merge branch '11413-nodemanager-gce-fixes' refs #11413

8465: added stdin redirection for json mount.

6304: Avoid possible dns update race condition by writing the temp file with unique name to avoid collisions.
Catch IO specific exceptions when trying to write the config files.
Added test to assert that no config file is written when the update command is not set up but the config dir is.

7824: Added test cases.

8465: added stdin redirection for collection

11413: Use getattr() in exception handler.

11413: Wrap destroy_node with similar logic to create_node: on exception check
the node list to determine if the node was actually destroyed successfully.

Merge branch '11100-cr-output-ttl'

refs #11100

11413: Fix issues with node manager on GCE:

* Always override Node.size with CloudSizeWrapper

* Get updated node record before setting metadata to minimize 'Supplied
  fingerprint does not match current metadata fingerprint.' error.

* Use ex_set_node_metadata() instead of issuing request directly.

7824: Now a subdirectory can be asked to be listed. Also, enhanced error message when asking for a non existant collection.

7824: Several improvements:
* Added error reporting on cases where the user ask for downloading a nonexisting file/subdir inside a collection.
* Enhanced error message when the user ask to download a non existing collection.
* Improved the collection traversal when downloading a subcollection.
* Exit with an error message when asking for a subcollection name without the trailing '/'.
* Error out if asking to get a subcollection with '-' as destination.
* Test updated.

Merge branch '11407-go-sdk-debug' closes #11407

11407: keepclient checks for ARVADOS_DEBUG and enables debugging.

7824: Log errors when trying to read the collection specified.

7824: Closing file when finished writing

8567: Add workaround for "trap EXIT" in pid 1 bash process.  Add comments.

11100: Adjust delete_at in before_validation hook instead of validation. Permit changing trash_at without extending delete_at.

11100: Specify units in output_ttl docs.

11402: Disable caching if $HOME/ is not writable, instead of returning a broken cache.

closes #11402

closes #11368
Merge branch '11368-collection-file-rename-warning'

11368: show error if user tries to rename a collection file with a duplicate name.

Merge branch '11398-nodes-items-available'

refs #11398

11398: Fix missing items_available in nodes#index response.

7824: Use logging facility to show error messages.

Merge branch '9132-dockerclient' closes #9132

7824: Updated code to use newer Collection APIs, leaving all_streams() and all_files() behind.

9132: Fix test errors due to rebase.

Fix package test for ubuntu1204.

refs #10797

11100: If caller sets collection.delete_at too early, set it to the earliest allowed time instead of failing.

9132: Fix ContainerCreate to include HostConfig, container UUID as name.

11100: Add comment about delete_at validation race.

11100: Clean up permission checks.

11100: Add container_requests.output_ttl field. Fix validation of output/log changes on finalized CRs.

8567: Log total bytes to migrate

8567: Use arvados.config instead of os.environ.  Tweak disk space accounting output.

7824: Moved arv-get code to arvados.commands and replaced bin/arv-get with a stub caller.

9132: Fix after rebase

9132: Use ThinDockerClientProxy to overcome the import issue around "github.com/docker/docker/vendor/golang.org/x/net/context".
Perform most of the test updates needed to use the new API.

9132: few more updates to use the new API

9132: WIP switching to using official Docker Go client.

Merge branch '11332-fix-crunchscript' refs #11332

7824: Further ordering fixes. Now all arv-ls tests passes.

Merge branch '7709-api-rails4' (partial)

refs #7709
refs #11100

8567: Improve disk space accounting.  Default to use overlay storage driver (but user can override).

7824: Fix upper/lower case ordering on arv-ls.

7709: De-duplicate "ensure unique name" implementations.

7709: Do not set job_readable when it won't be used.

7709: Leave container_request alone when applying default keep_cache_ram value.

7709: Fix tests (count existing links before adding new ones).

11209: Restore missing import.

refs #11209

11332-fix-crunchscript: Set ACCEPTLIST_RE because crunch_script alternate entry
point doesn't go through main.

11355: Arvados gems accept json 2.x.

refs #11355

10401: Bump cwltool for packing fix.

10401: Bump schema salad for self-colliding id fix.

10401: Update crunch script, no longer expands directories by default.

10401: Fixup file/directory literal handling

10401: Only upload file:// identifiers.

10401: Bump arvados-python-client version for updates to
arvados.command.run.uploadfiles.

10401: Use custom_schema_callback.  Bump schema-salad and cwltool versions.

10401: Rework support for uploading Directories (don't assume files are
enumerated).

10401: Allow Arvados extensions to be used in "requirements" not just "hints".

10401: Use use_custom_schema feature for extensions.

Merge branch '11235-log-retryable'

refs #11235

11235: Log a message when a job is interrupted by node failure.

...and say what's going to happen as a result, even if that is not
"giving up" yet.

closes #3821
Merge branch '3821-collection-file-manage'

Fix invalid records in API collections test fixture and improve error message
to include both values.  Incidentally revealed by adding PDH index to
collections table.  refs #11361

3821: improve the tooltip on rename file option.

Fix packaging for python-arvados-cwl-runner refs #11333

Merge branch '11361-pdh-index'

refs #11361

11361: Add pdh index to collections table.

Merge branch '11209-unmount-replace'

refs #11209

Merge branch '11333-cwl-phone-home' closes #11333

3821: update test assertion that randomly fails; in fact, I don't see how it ever worked with that syntax.

11333: Add explicit version pin on 'typing'

11332: Suppress phone-home behavior in check_exists by recognizing
http://arvados.org/cwl and returning True.

Merge branch '11332-cwl-filenames' closes #11332

Merge branch 'master' into 3821-collection-file-manage

3821: collection viewed from another object

3821: The "Remove selected files" option should only be presented if the user can update the collection.

11332: Override relaxed path checks to be even more relaxed, and bump cwltool &
schema salad pin for hashes-in-filenames fix.

3821: attr_accessor not needed on collection "filename"

3821: add an integration test to rename a file in a collection

11209: Test using ./bin/arv-mount from source dir.

3821: integration test to remove files from a collection

11209: Replace "--unmount /path/..." with "--unmount-all /path".

11209: Fix daemon mode.

DaemonContext cannot happen after listen_for_events().

3821: collection controller tests for remove and rename files.

Update cwl test_submit refs #10401

Merge branch '10401-run-upload-dir' refs #10401

10401: Support in arv-run for uploading Directories.

Pin ws4py <0.4 (our websocket tests fail on 0.4.1)

No issue #

3821: Rename collection file path

11209: Remove unused imports.

11209: Add tests for --unmount and --replace flags.

11209: Fix missing import. Use context handler for standalone mode.

Remove debug printf.

No issue #

Remove -i flag from Rails3 pg_dump invocation.

No issue #

3821: remove selection file in collection file row

3821: added 'Remove selected files' to collection#show page.

Merge branch '8567-docker-migrator' refs #8567