Merge branch '10165-cwl-outputs' closes #10165

10165: Add --output-name option to set name of output collection.

Merge branch '9001-summary-skip-malformed-lines' closes #9001

10165: Add test for make_output_collection

10165: Pass around keep client object instead of creating new client per
Collection.

10165: Handle copying complete collection contents into subdirectory.

10165: DRY key cleanup.

10165: Add FinalOutputPathMapper.  Delete basename/size/listing from output object because that information is captured by the enclosing Collection.  Sort keys.

Merge branch '9857-cwl-acceptlist-re' refs #9857

10165: Always make an output collection when a workflow completes.

Merge branch '10032-cwl-spinup' refs #10032

10032: Fix test to include --preserve-entire-environment

10032: Update schema salad and cwltool packages to get document validation optimizations.

Drill down on metrics on job submission.

Increase timeout and allow early success on download test. No issue #

refs #9498 Fix failing workbench integration test due to containers fixture update.

Merge branch '10151-cwl-dir-listing' closes #10151

10032: Add more metrics

10151: Ensure that job_order_object is normalized and Directory listings are enumerated.

Merge branch '9848-copy-container-output' refs #9848

9848: Set expiry time on container output and log collections.

9848: Use pointer receiver for all arvadosclient.ArvadosClient methods.

This makes it possible for all methods to satisfy a single interface.

9848: Copy the output and log collections (if any) when finalizing a container request.

When reusing a container, ensure log and output are readable.

9848: group some assertions into bigger test cases.

Merge branch '9953-dockercleaner-config' closes #9953

9953: Add arvados-docker-cleaner.service to MANIFEST.in.

Fixes error during `setup.py install`:

Command "/tmp/tmp.lpB0zPHYWs/VENV3DIR/bin/python3 -u -c "import setuptools, tokenize;__file__=/tmp/pip-6gqvw70n-build/setup.py;exec(compile(getattr(tokenize, open, open)(__file__).read().replace(rn, n), __file__, exec))" install --record /tmp/pip-ljhdcczu-record/install-record.txt --single-version-externally-managed --compile --install-headers /tmp/tmp.lpB0zPHYWs/VENV3DIR/include/site/python3.4/arvados-docker-cleaner" failed with error code 1 in /tmp/pip-6gqvw70n-build/

9950: 9953: 9954: 9955: 9957: Add AssertPathExists= to unit file to avoid startup until config file exists.

9950: Fix arvados-git-httpd executable path. Update config path to /etc/arvados/git-httpd/.

9953: Update default config path.

9953: If config cannot be read/parsed, show just the error without the stack trace.

9953: Install/remove systemd unit files wherever systemd exists, even if it is not running.

9953: Update build scripts to Go 1.7.1.

9953: De-duplicate Go and Python postinst/prerm scripts.

9953: Add systemd unit file for arvados-docker-cleaner.

9953: Install python data files to /usr/share/... not /usr/data/share/...

9953: PEP-8

9953: Load config from file.

9953: Ignore non-container events (volume, network) and events with no status, instead of crashing.

Use our cached copy of phantomjs-1.9.7 instead of pulling it from https
upstream with flakey connectivity.

closes #10130

Merge branch '9990-workbench-client-timeout' closes #9990

9990: Add configs for Workbench API client timeouts.

Merge branch '10129-cwl-remove-listing' closes #10129

10129: Rename del_listing to trim_listing and add docstring about what it is
for.

Merge branch '9912-config-yaml' closes #9912

10129: Ensure that directory literals get preserved when trimming keep directory listings.

9912: Support YAML config files. Change default config file paths to /etc/arvados/foo/foo.yml.

Fix #10133, use "resolved" (keep reference) instead of target (filesystem
path).  I think this was a merge conflict mistake.

10129: Trim listing from Directory objects that are keep references, because
they can get very large.

Merge branch '10081-update-cwl-runner'  refs #10081

10081: Fix renamed methods.

closes #9514
Merge branch '9514-only-delete-old-container-logs'

Merge branch '9988-cwl-arv-hints' closes #9988

Fix typo.

Merge branch '9950-arv-git-httpd-config' closes #9950

9950: Remove uses of environment variables.

9950: Propagate Client.Insecure config to arvadosclient library via ARVADOS_API_HOST_INSECURE env var.

9950: Add systemd unit file arv-git-httpd.service.

9950: Rename Root config to RepoRoot.

9950: Load config from /etc/arvados/arv-git-httpd/config.json.

refs #10028
Merge branch '10028-search-uuid-prefix'

9514: update delete_old_job_logs task also to use the better performing sql.

Merge branch '10081-cwl-run-same-job' closes #10081

9514: Use sql to issue delete sql without getting ids in batch.

Merge branch '10124-fix-sleepy-tests' closes #10124

10124: Replace "sleep 1, then assert" with "retry assertion for up to 10 seconds".

Bump cwltool version in fpm_build refs #10088

Merge branch '10081-cwl-run-same-job' into 9988-cwl-arv-hints

Merge branch 'master' into 10081-cwl-run-same-job

Conflicts:
sdk/cwl/arvados_cwl/runner.py

Merge branch '10088-cwl-dedup-deps' refs #10088

10081: Change logical identifier for Arvados schema to arvados.org/cwl.
Improve exception text when checking that locations are keep references.

9514: if logs are not found in logs table, do not show the log div for a completed container.

10088: Updated cwltool deduplicates dependencies to avoid creating separate
collections for subdirectories.  Don't try to update file literals that arn't
in scandeps.

Use longer timeout for flaky test.

No issue #

gofmt. refs #9955

9514: fixture correction

Merge branch '9955-keepproxy-config' closes #9955

Merge branch 'master' into 9514-only-delete-old-container-logs

10028: replace _____-uuid-prefix with site_config_uuid_prefix-uuid-prefix

closes #10036
Merge branch '10036-canceled-container-state'

10036: Use status label "Ready" for a canceled container request (priority 0), when it's container_uuid is in Queued or Locked states.

Merge branch '10037-useless-progress-bar'
Closes #10037

10037: Merge branch 'master' into 10037-useless-progress-bar

10037: Changed test name to something more appropiate.

9988: Add arvados-specfic hints RuntimeConstraints and APIRequirement.

Merge branch '10117-fuse-refcount' refs #10117

10117: Revert mistaken change to Gemfile.lock.

10081: Rename cwl.input.json to cwl.input.yml, fix test.

10117: Tweak behavior of has_ref().  Fix naming of CacheTest.

10037: Test enhancement to check for other statuses on the dashboard, also adding pipeline instances on those checks.

Merge branch 'master' into 10081-cwl-run-same-job

Update cwltool again for bugfix, refs #10088

10037: Fixed alignment issues on the dashboard

10117: The check needs to be between clear() and the deletion from entries.

10117: Check that inode is in entries before trying to remove it, along with
explanation why it is necessary.

Merge branch '10029-wb-send-request-id'
Closes #10029

10029: Merge branch 'master' into 10029-wb-send-request-id

10037: Fixed test because of the fixture dates changes made to allow some containers to appear on the recent pipelines and processes list on the dashboard

10037: Added test to check for progress bar showing only on running containers

10117: OrderedDict preserves insertion order, so use inode as key instead of cache_priority.

10117: Restore original semantics of invalidate() and add code comment, add
kernel_invalidate().