9701: Merge branch 'master' into 9701-collection-pack-small-files-alt

9701: Wrapping actual alloc_bufferblock and delete_bufferblock methods inside synchronized calls, to be able to use them from within already synchronized BlockManager methods.

Merge branch '10186-crunch2-slurm-partition' closes #10186

refs #10078
Merge branch '10078-dashboard-perf'

10078: Rename the workbench config param 'show_user_notifications_on_dashboard' as 'show_user_notifications' because they are in topnav, not on dashboard!

Merge branch 'master' into 10078-dashboard-perf

9701: Added clarifying comments to the small block searching list comprehension.

9701: Better bufferblock id generation.

9701: Superfluous variable eliminated

9701: Use a collection.OrderedDict instead of a simple dict to hold bufferblocks so that the packed files order is consistent. Updated related test.

Add the new KeepServiceURIs option in the crunch-dispatch-slurm
configuration file to the documentation.

Update the documentation for the crunch-dispatch-slurm configuration
file to have complete examples and use native YAML syntax.

refs #10041

Merge branch '10041-test-arvados-keep-services'

refs #10041

10041: Set ARVADOS_KEEP_SERVICES from Client.KeepServicesURIs field.

Make sure that we can set ARVADOS_KEEP_SERVICES via the
crunch-dispatch-slurm configuration file.

refs #10041 #9550

Small naming fix for the config variables.

refs #10078

Small naming fix for the config variables.

refs #10078

9701: Simplifying small bufferblock query

9701: Set repack_small_blocks() method as @synchronized

10186: "partition" container runtime constraint takes array of strings instead
of single name.

refs #10078
Merge branch '10078-dashboard-perf'

10078: Since we are not fetching components for pipeline instances (at least until the performance issues are resolved),
we will no longer see the running and queued jobs listed within each pipeline instance row in dashboard. Hence, update
test to look for these for a container request row instead of for a pipeline instance row.

10078: When fetching recent_processes, do not select 'components' which is not needed in this context. For very large pipelines, this will perform better.

10078: Now that the recent_collections panel includes collections from Home directory as well
(self and other users' for admin user), suppress displaying confusing '(none)' in place of a Home directory.

10078: add configuration parameter to suppress display of user notifications to improve dashboard performance

10078: config parameter to hide / show recent_collections panel in dashboard.

10078: preload collections and links during dashboard display

10078: Update recent_collections so that the collection query it is not executed twice, once in this method and once in show_dashboard for r[:collections].each statement.

10078: Update the Node.filter so that this query is not executed three times: once for nodes.sort_by and twice in compute_node_summary for nodes.select

10078: fix failing test due to new fixture addition

Merge branch '8018-container-retry' closes #8018

Bump cwltool version for bugfix https://github.com/common-workflow-language/cwltool/pull/206
refs #10203

10078: Since we are not fetching components for pipeline instances (at least until the performance issues are resolved),
we will no longer see the running and queued jobs listed within each pipeline instance row in dashboard. Hence, update
test to look for these for a container request row instead of for a pipeline instance row.

10078: When fetching recent_processes, do not select 'components' which is not needed in this context. For very large pipelines, this will perform better.

Merge branch '10077-workbench-integration-tests' closes #10077

Add explanatory comment about FIXME

Enumerate Directory contents in output when --compute-checksum is
provided (needed to pass CWL conformance tests).  No issue #

9701: Fixed a previous test to match new flush() behaviour. Added a new one to check
for small blocks packing.

9701: Several corrections/enhancements:
* Added a 'sync' parameter on repack_small_blocks() so that blocks commits can
  be done in either way depending from where it's called.
* Allow packing small buffer blocks up to a full block on Keep.
* Replaced ArvadosFile's _closed flag with a list of its ArvadosFileWriter objects,
  so that it's used as a reference counter.
* Moved ArvadosFile flush behaviour from ArvadosFileWriter.close() method to
  ArvadosFile.remove_writer() so that it can decide whether it should commit the
  buffer block or repack it with others.

9701: Reverted the use of the optional 'flush' argument on ArvadosFileWriter.close()

10186: Add PartitionRequirement

10186: Add support for "partition" in runtime_constraints.  Add --all to squeue to ensure that it sees all paritions.

8018: Additional assertions checking when container_uuid changes/does not change.

Merge branch '9307-cwl-use-tmp-output' closes #9307 closes #9308

Merge branch 'master' into 9307-cwl-use-tmp-output

Conflicts:
sdk/cwl/tests/test_job.py

9307: Improve crunchrunner error handling.  Fix typo.

Bump schema-salad & cwltool version for cwl document validation bugfix.  no issue #

9701: Test fixes

9701: Changes on the Python SDK to allow small file packing on Collection class:
* Added optional flush parameter to ArvadosFileWriter.close().
* Added _closed attribute & related accessors to ArvadosFile to enable BlockManager to query this state.
* For every ArvadosFile close() operation, call BlockManager to search for small blocks for repacking purposes.
* Do a last repacking operation just before exiting, joining the last small blocks even if they don't meet the
  minimum size requirement.

There's some pending code cleanup, as BlockManager fiddles directly with ArvadosFile._segments lists, some locking:
issues have to be solved.

9307: Bump tests to use v1.0 and make sure that arvados_cwl.add_arv_hints() is called.

9308: Set task.keepTmpOutput: true when outputDirType is keep_output_dir.

9308: Add test for KeepTmpOutput flag.

8018: Add migration script for "container_count" field.

Merge branch '10165-cwl-outputs' closes #10165

9308: Add 'keepTmpOutput' option to crunchrunner

10165: Add --output-name option to set name of output collection.

8018: Fix state transition checks.  Add test of retry and fix other tests to
not retry.

Merge branch '9001-summary-skip-malformed-lines' closes #9001

10078: Now that the recent_collections panel includes collections from Home directory as well
(self and other users' for admin user), suppress displaying confusing '(none)' in place of a Home directory.

10078: add configuration parameter to suppress display of user notifications to improve dashboard performance

9701: Merge branch '9463-change-arvput-use-collection-class' into 9701-collection-pack-small-files-alt

10165: Add test for make_output_collection

10078: config parameter to hide / show recent_collections panel in dashboard.

10165: Pass around keep client object instead of creating new client per
Collection.

10165: Handle copying complete collection contents into subdirectory.

10078: preload collections and links during dashboard display

10165: DRY key cleanup.

10165: Add FinalOutputPathMapper.  Delete basename/size/listing from output object because that information is captured by the enclosing Collection.  Sort keys.

Merge branch '9857-cwl-acceptlist-re' refs #9857

10165: Always make an output collection when a workflow completes.

Merge branch '10032-cwl-spinup' refs #10032

10078: Restore master version

Merge branch 'master' into 10078-dashboard-perf

10032: Fix test to include --preserve-entire-environment

10032: Update schema salad and cwltool packages to get document validation optimizations.

Drill down on metrics on job submission.

10078: Update recent_collections so that the collection query it is not executed twice, once in this method and once in show_dashboard for r[:collections].each statement.

10078: Update the Node.filter so that this query is not executed three times: once for nodes.sort_by and twice in compute_node_summary for nodes.select

Fix negative Capybara assertion/matcher

Fix not present test for Capybara

Fix long wait for Capybara test

Fix row selection logic to not wait

Restore Capybara.default_max_wait_time side effect

Fix and simplify wait_for_ajax

Don't change global Capybara.default_max_wait_time
Sleep so we're not competing with thread(s) doing work

Increase timeout and allow early success on download test. No issue #

refs #9498 Fix failing workbench integration test due to containers fixture update.

Merge branch '10151-cwl-dir-listing' closes #10151

10032: Add more metrics

10151: Ensure that job_order_object is normalized and Directory listings are enumerated.

Merge branch '9848-copy-container-output' refs #9848

9848: Set expiry time on container output and log collections.

9848: Use pointer receiver for all arvadosclient.ArvadosClient methods.

This makes it possible for all methods to satisfy a single interface.

9848: Copy the output and log collections (if any) when finalizing a container request.

When reusing a container, ensure log and output are readable.

9848: group some assertions into bigger test cases.

Merge branch '9953-dockercleaner-config' closes #9953

9953: Add arvados-docker-cleaner.service to MANIFEST.in.

Fixes error during `setup.py install`:

Command "/tmp/tmp.lpB0zPHYWs/VENV3DIR/bin/python3 -u -c "import setuptools, tokenize;__file__=/tmp/pip-6gqvw70n-build/setup.py;exec(compile(getattr(tokenize, open, open)(__file__).read().replace(rn, n), __file__, exec))" install --record /tmp/pip-ljhdcczu-record/install-record.txt --single-version-externally-managed --compile --install-headers /tmp/tmp.lpB0zPHYWs/VENV3DIR/include/site/python3.4/arvados-docker-cleaner" failed with error code 1 in /tmp/pip-6gqvw70n-build/

9950: 9953: 9954: 9955: 9957: Add AssertPathExists= to unit file to avoid startup until config file exists.

9950: Fix arvados-git-httpd executable path. Update config path to /etc/arvados/git-httpd/.

9953: Update default config path.

9953: If config cannot be read/parsed, show just the error without the stack trace.

9953: Install/remove systemd unit files wherever systemd exists, even if it is not running.