Fix API server version pin on arvados-cli. refs #10259

Merge branch '10259-cwl-pipeline-null' refs #10259

10259: Move trim_listing out of upload_instance

Merge branch 'master' into 10259-cwl-pipeline-null

Merge branch '10200-cwl-crunch-script' closes #10200

10259: Update arvados-cli version pin

3486: Accept false and nil/null as parameter values, and avoid translating nil to false.

10259: When creating pipeline to be managed by a-r-p-i, wrap value in dict for
false and null as well.

10200: Copy cwl-runner crunch script into arvados_cwl package to avoid version skew.  Keep old cwl-runner code as a fallback to avoid breaking installations that haven't been updated.

Remove obsolete comment. No issue #

9956: Fix startup log message. refs #9956

Merge branch '10211-double-close-crash' closes #10211

Merge branch '10281-directory-replication' closes #10281

10281: Test default replication=1 for directory volumes.

10281: Update comment.

10281: Add DirectoryReplication config.

Merge branch '10280-squeue-error' closes #10280

Merge branch '9956-keepstore-config' refs #9956

10280: Fix ignored error from cmd.Start().

9956: gofmt

10211: Clarify expected result of double-close.

9956: Fix run_test_server: default is now -enforce-permissions=true.

Merge branch 'master' into 9956-keepstore-config

Conflicts:
services/keepstore/keepstore.go

9956: Show list of supported volume types.

9956: Remove obsolete TODO comment.

9956: Move deprecated options out to a separate file.

9956: Remove "listen on address with no port" in help message.

refs #10227
Merge branch '10227-make-diagnostics-tests-reliable'

10211: Return an error instead of crashing if stream is closed twice.

Merge branch '10259-cwl-pipeline-value' refs #10259

10272: Fix nil pointer dereference in help message. refs #10272

10259: Add one level of indirection on dict parameters so that
arv-run-pipeline-instance does not try to interpret the value.  Check pipeline
state so that polling loop for cwl-runner job does not get stuck.

Merge branch '10234-git-httpd-config' refs #10234 refs #10263

10234: Remove doc.go, already superseded by usage.go.

Merge branch '10221-cwl-pathmapping' closes #10221

Merge branch '10259-cwl-pipeline' closes #10259

10234: Pass through gitolite env vars so old env-var-configured sites continue working.

10234: 10263: Update arvados-git-httpd docs to use systemd + config file.

10234: 10263: Use a GitoliteHome configuration entry instead of passing through gitolite env vars from the caller.

10227: The diagnostics tests have been consistently failing since Sep 18th due to web sockets based refresh is not happening in the page.
I updated the test to refresh the page in a loop until timeout, rather than rely on the unreliable web sockets.
Also, updated the text_to_look_for to "completed" from "Complete" so that test doesn't misinterpret a job completion as the pipeline completion.

Merge branch '10236-disable-event-listening'
Closes #10236

10236: Merge branch 'master' into 10236-disable-event-listening

10234: Avoid trying to read real config file in test suite.

10234: Use YAML for example config file.

10234: Clean up program name (arvados-git-httpd) and config paths.

10234: Change default repo root from CWD to recommended path.

10008: Disable flaky test. refs #10008

Merge branch '10243-make-packing-optional'
Closes #10243

10243: Merge branch 'master' into 10243-make-packing-optional

10236: Added --disable-event-listening to arv-mount command so that it doesn't subscribe to any API Server event.
Also, added a test for this new feature.

Merge branch '9848-finalize-on-reuse' closes #9848

9848: Finalize container request immediately if resolving to an already-finished container.

10259: Workaround for spurious "job_order" on command line.  --no-wait returns
pipeline uuid.

10259: When using --submit with jobs API, create RunningOnServer pipeline
instance.  This is more similar to the way it works when you run a workflow
from workbench, and ensures that the pipeline will be marked completed even if
the arvados-cwl-runner client goes away.

10221: Don't depend on st.keepref from arvados.commands.run.statfile and uploadfile, use file_pattern to construct predictable keep reference.

10221: Add path mapper tests direct keep references, uploaded files, and keep mounted files.

10221: Always upload all dependencies up front.  Ensures consistent reuse
behavior between --local and --submit.  Fix pathmapping bugs where
previously-uploaded files were added to path map but not actually mapped to
target paths.

10243: Explicitly calling close(flush=False) on tests so that they work with this new feature.

Merge branch 'master' into 10243-make-packing-optional

Merge branch '9463-revert-arv-put-commit'
Refs #9463 #9701

9463: Reverted tests related to old arv-put version.

10243: Added a flush=True parameter to ArvadosFileWriter.close() so that the repacking feature is disabled by default.

Merge branch '9463-revert-arv-put-commit'
Refs #9463 #9701

9463: Commit old arv-put command back, as the new one still have some performance issues when dealing with a lot of files.

Do not try to chown_R the gid of .ssh, because we're making an
assumption about the existance of a group with the same name as the
user, and it's irrelevant anyway because the permissions on .ssh are
0700.

No issue #

refs #10144
Merge branch '10144-pipeline-display-perf'

10144: call object_for_dataclass only when attr value is not-nil.

10144: limit find_object_by_uuid update to the case where find is used; this will ensure that the object is not fetch again when show is used.

10144: Conver the link_to_log tests into controller tests so that the #show is executed.

10144: Preload children during (main) component display. The Job.where in pipeline_instance_work_unit is fetching all jobs even if they are not readable.

10144: Rename :by_name as "by_attr" for preload_objects_for_dataclass

10144: Preloading all the collection using one single large query is much slower than making several requests
with a smaller subset of  uuids/pdhs when displaying a pipeline instance with many jobs. Hence, make several
requests for 200 collections at a time.

10144: preload work_unit children

10144: preload repositories during work unit component display.

10144: Update link_to_if_arvados_object to use collection_for_pdh when resource_class is a Collection and attrvalue is a pdh.

10144: Replace work_unit -> link_to_log with partial so that preloaded objects are used.

Merge branch '10228-arvados-git-httpd-service'

closes #10228

package has a .service missing

refs #10228

Merge branch '9701-collection-pack-small-files-alt'
Closes #9701 #9463

9701: Replaced deprecated use of File.exists?() with File.exist()

9701: Fixed arv-put to pass a couple of pending sdk/cli tests. refs #9463

9701: Merge branch 'master' into 9701-collection-pack-small-files-alt

9701: Wrapping actual alloc_bufferblock and delete_bufferblock methods inside synchronized calls, to be able to use them from within already synchronized BlockManager methods.

Merge branch '10186-crunch2-slurm-partition' closes #10186

refs #10078
Merge branch '10078-dashboard-perf'

10078: Rename the workbench config param 'show_user_notifications_on_dashboard' as 'show_user_notifications' because they are in topnav, not on dashboard!

Merge branch 'master' into 10078-dashboard-perf

9701: Added clarifying comments to the small block searching list comprehension.

9701: Better bufferblock id generation.

9701: Superfluous variable eliminated

9701: Use a collection.OrderedDict instead of a simple dict to hold bufferblocks so that the packed files order is consistent. Updated related test.

Add the new KeepServiceURIs option in the crunch-dispatch-slurm
configuration file to the documentation.

Update the documentation for the crunch-dispatch-slurm configuration
file to have complete examples and use native YAML syntax.

refs #10041

Merge branch '10041-test-arvados-keep-services'

refs #10041

10041: Set ARVADOS_KEEP_SERVICES from Client.KeepServicesURIs field.

Make sure that we can set ARVADOS_KEEP_SERVICES via the
crunch-dispatch-slurm configuration file.

refs #10041 #9550

Small naming fix for the config variables.

refs #10078

Small naming fix for the config variables.

refs #10078

9701: Simplifying small bufferblock query

9701: Set repack_small_blocks() method as @synchronized

10186: "partition" container runtime constraint takes array of strings instead
of single name.