9701: Use a collection.OrderedDict instead of a simple dict to hold bufferblocks so that the packed files order is consistent. Updated related test.

9701: Simplifying small bufferblock query

9701: Set repack_small_blocks() method as @synchronized

9701: Fixed a previous test to match new flush() behaviour. Added a new one to check
for small blocks packing.

9701: Several corrections/enhancements:
* Added a 'sync' parameter on repack_small_blocks() so that blocks commits can
  be done in either way depending from where it's called.
* Allow packing small buffer blocks up to a full block on Keep.
* Replaced ArvadosFile's _closed flag with a list of its ArvadosFileWriter objects,
  so that it's used as a reference counter.
* Moved ArvadosFile flush behaviour from ArvadosFileWriter.close() method to
  ArvadosFile.remove_writer() so that it can decide whether it should commit the
  buffer block or repack it with others.

9701: Reverted the use of the optional 'flush' argument on ArvadosFileWriter.close()

9701: Test fixes

9701: Changes on the Python SDK to allow small file packing on Collection class:
* Added optional flush parameter to ArvadosFileWriter.close().
* Added _closed attribute & related accessors to ArvadosFile to enable BlockManager to query this state.
* For every ArvadosFile close() operation, call BlockManager to search for small blocks for repacking purposes.
* Do a last repacking operation just before exiting, joining the last small blocks even if they don't meet the
  minimum size requirement.

There's some pending code cleanup, as BlockManager fiddles directly with ArvadosFile._segments lists, some locking:
issues have to be solved.

9701: Merge branch '9463-change-arvput-use-collection-class' into 9701-collection-pack-small-files-alt

Merge branch '9857-cwl-acceptlist-re' refs #9857

Merge branch '10032-cwl-spinup' refs #10032

10032: Fix test to include --preserve-entire-environment

10032: Update schema salad and cwltool packages to get document validation optimizations.

Drill down on metrics on job submission.

Increase timeout and allow early success on download test. No issue #

refs #9498 Fix failing workbench integration test due to containers fixture update.

Merge branch '10151-cwl-dir-listing' closes #10151

10032: Add more metrics

10151: Ensure that job_order_object is normalized and Directory listings are enumerated.

Merge branch '9848-copy-container-output' refs #9848

9848: Set expiry time on container output and log collections.

9848: Use pointer receiver for all arvadosclient.ArvadosClient methods.

This makes it possible for all methods to satisfy a single interface.

9848: Copy the output and log collections (if any) when finalizing a container request.

When reusing a container, ensure log and output are readable.

9848: group some assertions into bigger test cases.

Merge branch '9953-dockercleaner-config' closes #9953

9953: Add arvados-docker-cleaner.service to MANIFEST.in.

Fixes error during `setup.py install`:

Command "/tmp/tmp.lpB0zPHYWs/VENV3DIR/bin/python3 -u -c "import setuptools, tokenize;__file__=/tmp/pip-6gqvw70n-build/setup.py;exec(compile(getattr(tokenize, open, open)(__file__).read().replace(rn, n), __file__, exec))" install --record /tmp/pip-ljhdcczu-record/install-record.txt --single-version-externally-managed --compile --install-headers /tmp/tmp.lpB0zPHYWs/VENV3DIR/include/site/python3.4/arvados-docker-cleaner" failed with error code 1 in /tmp/pip-6gqvw70n-build/

9950: 9953: 9954: 9955: 9957: Add AssertPathExists= to unit file to avoid startup until config file exists.

9950: Fix arvados-git-httpd executable path. Update config path to /etc/arvados/git-httpd/.

9953: Update default config path.

9953: If config cannot be read/parsed, show just the error without the stack trace.

9953: Install/remove systemd unit files wherever systemd exists, even if it is not running.

9953: Update build scripts to Go 1.7.1.

9953: De-duplicate Go and Python postinst/prerm scripts.

9953: Add systemd unit file for arvados-docker-cleaner.

9953: Install python data files to /usr/share/... not /usr/data/share/...

9953: PEP-8

9953: Load config from file.

9953: Ignore non-container events (volume, network) and events with no status, instead of crashing.

Use our cached copy of phantomjs-1.9.7 instead of pulling it from https
upstream with flakey connectivity.

closes #10130

Merge branch '9990-workbench-client-timeout' closes #9990

9990: Add configs for Workbench API client timeouts.

Merge branch '10129-cwl-remove-listing' closes #10129

10129: Rename del_listing to trim_listing and add docstring about what it is
for.

Merge branch '9912-config-yaml' closes #9912

10129: Ensure that directory literals get preserved when trimming keep directory listings.

9912: Support YAML config files. Change default config file paths to /etc/arvados/foo/foo.yml.

Fix #10133, use "resolved" (keep reference) instead of target (filesystem
path).  I think this was a merge conflict mistake.

10129: Trim listing from Directory objects that are keep references, because
they can get very large.

Merge branch '10081-update-cwl-runner'  refs #10081

10081: Fix renamed methods.

closes #9514
Merge branch '9514-only-delete-old-container-logs'

Merge branch '9988-cwl-arv-hints' closes #9988

Fix typo.

Merge branch '9950-arv-git-httpd-config' closes #9950

9950: Remove uses of environment variables.

9950: Propagate Client.Insecure config to arvadosclient library via ARVADOS_API_HOST_INSECURE env var.

9950: Add systemd unit file arv-git-httpd.service.

9950: Rename Root config to RepoRoot.

9950: Load config from /etc/arvados/arv-git-httpd/config.json.

refs #10028
Merge branch '10028-search-uuid-prefix'

9514: update delete_old_job_logs task also to use the better performing sql.

Merge branch '10081-cwl-run-same-job' closes #10081

9514: Use sql to issue delete sql without getting ids in batch.

Merge branch '10124-fix-sleepy-tests' closes #10124

10124: Replace "sleep 1, then assert" with "retry assertion for up to 10 seconds".

Bump cwltool version in fpm_build refs #10088

Merge branch '10081-cwl-run-same-job' into 9988-cwl-arv-hints

Merge branch 'master' into 10081-cwl-run-same-job

Conflicts:
sdk/cwl/arvados_cwl/runner.py

Merge branch '10088-cwl-dedup-deps' refs #10088

10081: Change logical identifier for Arvados schema to arvados.org/cwl.
Improve exception text when checking that locations are keep references.

9514: if logs are not found in logs table, do not show the log div for a completed container.

10088: Updated cwltool deduplicates dependencies to avoid creating separate
collections for subdirectories.  Don't try to update file literals that arn't
in scandeps.

Use longer timeout for flaky test.

No issue #

gofmt. refs #9955

9514: fixture correction

Merge branch '9955-keepproxy-config' closes #9955

Merge branch 'master' into 9514-only-delete-old-container-logs

10028: replace _____-uuid-prefix with site_config_uuid_prefix-uuid-prefix

closes #10036
Merge branch '10036-canceled-container-state'

10036: Use status label "Ready" for a canceled container request (priority 0), when it's container_uuid is in Queued or Locked states.

Merge branch '10037-useless-progress-bar'
Closes #10037

10037: Merge branch 'master' into 10037-useless-progress-bar

10037: Changed test name to something more appropiate.

9988: Add arvados-specfic hints RuntimeConstraints and APIRequirement.

Merge branch '10117-fuse-refcount' refs #10117

10117: Revert mistaken change to Gemfile.lock.

10081: Rename cwl.input.json to cwl.input.yml, fix test.

10117: Tweak behavior of has_ref().  Fix naming of CacheTest.

10037: Test enhancement to check for other statuses on the dashboard, also adding pipeline instances on those checks.

Merge branch 'master' into 10081-cwl-run-same-job

Update cwltool again for bugfix, refs #10088

10037: Fixed alignment issues on the dashboard

10117: The check needs to be between clear() and the deletion from entries.

10117: Check that inode is in entries before trying to remove it, along with
explanation why it is necessary.

Merge branch '10029-wb-send-request-id'
Closes #10029

10029: Merge branch 'master' into 10029-wb-send-request-id

10037: Fixed test because of the fixture dates changes made to allow some containers to appear on the recent pipelines and processes list on the dashboard

10037: Added test to check for progress bar showing only on running containers

10117: OrderedDict preserves insertion order, so use inode as key instead of cache_priority.

10117: Restore original semantics of invalidate() and add code comment, add
kernel_invalidate().