Merge branch 'master' into 10078-dashboard-perf

Merge branch '10032-cwl-spinup' refs #10032

10032: Fix test to include --preserve-entire-environment

10032: Update schema salad and cwltool packages to get document validation optimizations.

Drill down on metrics on job submission.

10078: Update recent_collections so that the collection query it is not executed twice, once in this method and once in show_dashboard for r[:collections].each statement.

10078: Update the Node.filter so that this query is not executed three times: once for nodes.sort_by and twice in compute_node_summary for nodes.select

Increase timeout and allow early success on download test. No issue #

refs #9498 Fix failing workbench integration test due to containers fixture update.

Merge branch '10151-cwl-dir-listing' closes #10151

10032: Add more metrics

10151: Ensure that job_order_object is normalized and Directory listings are enumerated.

Merge branch '9848-copy-container-output' refs #9848

9848: Set expiry time on container output and log collections.

9848: Use pointer receiver for all arvadosclient.ArvadosClient methods.

This makes it possible for all methods to satisfy a single interface.

9848: Copy the output and log collections (if any) when finalizing a container request.

When reusing a container, ensure log and output are readable.

9848: group some assertions into bigger test cases.

Merge branch '9953-dockercleaner-config' closes #9953

9953: Add arvados-docker-cleaner.service to MANIFEST.in.

Fixes error during `setup.py install`:

Command "/tmp/tmp.lpB0zPHYWs/VENV3DIR/bin/python3 -u -c "import setuptools, tokenize;__file__=/tmp/pip-6gqvw70n-build/setup.py;exec(compile(getattr(tokenize, open, open)(__file__).read().replace(rn, n), __file__, exec))" install --record /tmp/pip-ljhdcczu-record/install-record.txt --single-version-externally-managed --compile --install-headers /tmp/tmp.lpB0zPHYWs/VENV3DIR/include/site/python3.4/arvados-docker-cleaner" failed with error code 1 in /tmp/pip-6gqvw70n-build/

9950: 9953: 9954: 9955: 9957: Add AssertPathExists= to unit file to avoid startup until config file exists.

9950: Fix arvados-git-httpd executable path. Update config path to /etc/arvados/git-httpd/.

9953: Update default config path.

9953: If config cannot be read/parsed, show just the error without the stack trace.

9953: Install/remove systemd unit files wherever systemd exists, even if it is not running.

9953: Update build scripts to Go 1.7.1.

9953: De-duplicate Go and Python postinst/prerm scripts.

9953: Add systemd unit file for arvados-docker-cleaner.

9953: Install python data files to /usr/share/... not /usr/data/share/...

9953: PEP-8

9953: Load config from file.

9953: Ignore non-container events (volume, network) and events with no status, instead of crashing.

Use our cached copy of phantomjs-1.9.7 instead of pulling it from https
upstream with flakey connectivity.

closes #10130

Merge branch '9990-workbench-client-timeout' closes #9990

9990: Add configs for Workbench API client timeouts.

Merge branch '10129-cwl-remove-listing' closes #10129

10129: Rename del_listing to trim_listing and add docstring about what it is
for.

Merge branch '9912-config-yaml' closes #9912

10129: Ensure that directory literals get preserved when trimming keep directory listings.

9912: Support YAML config files. Change default config file paths to /etc/arvados/foo/foo.yml.

Fix #10133, use "resolved" (keep reference) instead of target (filesystem
path).  I think this was a merge conflict mistake.

10129: Trim listing from Directory objects that are keep references, because
they can get very large.

Merge branch '10081-update-cwl-runner'  refs #10081

10081: Fix renamed methods.

closes #9514
Merge branch '9514-only-delete-old-container-logs'

Merge branch '9988-cwl-arv-hints' closes #9988

Fix typo.

Merge branch '9950-arv-git-httpd-config' closes #9950

9950: Remove uses of environment variables.

9950: Propagate Client.Insecure config to arvadosclient library via ARVADOS_API_HOST_INSECURE env var.

9950: Add systemd unit file arv-git-httpd.service.

9950: Rename Root config to RepoRoot.

9950: Load config from /etc/arvados/arv-git-httpd/config.json.

refs #10028
Merge branch '10028-search-uuid-prefix'

9514: update delete_old_job_logs task also to use the better performing sql.

Merge branch '10081-cwl-run-same-job' closes #10081

9514: Use sql to issue delete sql without getting ids in batch.

Merge branch '10124-fix-sleepy-tests' closes #10124

10124: Replace "sleep 1, then assert" with "retry assertion for up to 10 seconds".

Bump cwltool version in fpm_build refs #10088

Merge branch '10081-cwl-run-same-job' into 9988-cwl-arv-hints

Merge branch 'master' into 10081-cwl-run-same-job

Conflicts:
sdk/cwl/arvados_cwl/runner.py

Merge branch '10088-cwl-dedup-deps' refs #10088

10081: Change logical identifier for Arvados schema to arvados.org/cwl.
Improve exception text when checking that locations are keep references.

9514: if logs are not found in logs table, do not show the log div for a completed container.

10088: Updated cwltool deduplicates dependencies to avoid creating separate
collections for subdirectories.  Don't try to update file literals that arn't
in scandeps.

Use longer timeout for flaky test.

No issue #

gofmt. refs #9955

9514: fixture correction

Merge branch '9955-keepproxy-config' closes #9955

Merge branch 'master' into 9514-only-delete-old-container-logs

10028: replace _____-uuid-prefix with site_config_uuid_prefix-uuid-prefix

closes #10036
Merge branch '10036-canceled-container-state'

10036: Use status label "Ready" for a canceled container request (priority 0), when it's container_uuid is in Queued or Locked states.

Merge branch '10037-useless-progress-bar'
Closes #10037

10037: Merge branch 'master' into 10037-useless-progress-bar

10037: Changed test name to something more appropiate.

9988: Add arvados-specfic hints RuntimeConstraints and APIRequirement.

Merge branch '10117-fuse-refcount' refs #10117

10117: Revert mistaken change to Gemfile.lock.

10081: Rename cwl.input.json to cwl.input.yml, fix test.

10117: Tweak behavior of has_ref().  Fix naming of CacheTest.

10037: Test enhancement to check for other statuses on the dashboard, also adding pipeline instances on those checks.

Merge branch 'master' into 10081-cwl-run-same-job

Update cwltool again for bugfix, refs #10088

10037: Fixed alignment issues on the dashboard

10117: The check needs to be between clear() and the deletion from entries.

10117: Check that inode is in entries before trying to remove it, along with
explanation why it is necessary.

Merge branch '10029-wb-send-request-id'
Closes #10029

10029: Merge branch 'master' into 10029-wb-send-request-id

10037: Fixed test because of the fixture dates changes made to allow some containers to appear on the recent pipelines and processes list on the dashboard

10037: Added test to check for progress bar showing only on running containers

10117: OrderedDict preserves insertion order, so use inode as key instead of cache_priority.

10117: Restore original semantics of invalidate() and add code comment, add
kernel_invalidate().

10117: Additional refinement: a directory not in use but still referenced needs
to be invalidated before it can be cleared so that the kernel releases its
references.

9955: Add keepproxy config file and systemd unit file.

10117: Consider both use_count and ref_count and check subdirectories to determine if it is safe to evict directory contents from cache.

10029: Some changes/improvements described as follows:
* client_session_id renamed to current_request_id
* before_filter moved to be the first one
* request id clearing after lograge is done logging it
* added test to check for the request being cleared correctly
* corrected test that check for request_id being passed to the api server

9955: 9950: Add shim for using an arvados.Client to configure an arvadosclient.ArvadosClient.

10037: Avoid showing progressbar on Workbench's Dashboard when a container is not running, instead show it's state label.

Merge branch '9957-keep-web-config' closes #9957