10671: Merge branch 'master' into 10671-pipeline-instance-finish-time

10671: Set up values for pipeline instance started_at and finished_at attributes on state changes.
Updated tests accordingly.

Fix CWL tests affected by minimum_script_version tweaks.  no issue #

Adjust arvados repo minimum script versions for job dispatch. no issue #

Fix dev build of arvados/jobs image to avoid installing versions of
pyasn1-modules incompatible with pyasn1.  no issue #

Fix crunch_script.py to pass name arg, refs #10681

Merge branch '10383-arv-put-incremental-upload'
Refs #10383

10383: Merge branch 'master' into 10383-arv-put-incremental-upload

10383: Fix for making arv-keep-get tests pass.

10585: Add crunchstat -signal-on-dead-ppid option.

Merge branch '10684-crunch-run-ca-certs' closes #10684

Fix CWL tests refs #10576

10684: Don't overwrite default certs search path unless -ca-certs provided.

10684: Add -ca-certs option

10383: Error out when using --name and --update-collection together.

10684: Refactor into MakeTLSConfig().  Only look for
/etc/arvados/ca-certificates.crt and then fall back onto system certs.  Skip
looking for arvados-specific certs if insecure is true.

10383: Merge branch 'master' into 10383-arv-put-incremental-upload

10684: Only bind mount certificate when API access is indicated.

Merge branch '10690-config-dump' refs #10690

Merge branch '8460-websocket-go' refs #8460

10467: Abandon Azure requests if client hangs up.

10690: Add "rake config:dump" task to Workbench and API server.

We should not hardcode dependencies in our packages for secondary
dependencies of our dependencies. If you catch my drift.

pyasn1-modules is a dependency of oauth2client which is a dependency of
google-api-python-client. Which is a dependency of
arvados-python-client.

Pinning a dependency on pyasn1-modules=0.0.5 in arvados-python-client
does not make sense. It also does not appear to be necessary at all. And
it currently breaks the CentOS7 package build.

refs #10713

Revert "8654: Pin pyasn1_modules to version that is compatible with pyasn1==0.1.7."

This reverts commit 436105d3e249ad8dc55fb618d0d2c0d8ed29b395.

8460: Merge branch 'master' into 8460-websocket-go

10684: crunch-run adds /etc/arvados/ca-certificates.crt to binds, updated tests.

Tidy up queue usage. No issue #

10684: Add Arvados-specific search path to Go SDK TLSClientConfig.

10383: Remove files from local_collection which don't exist locally, so that the bytes_written count is accurate.

10684: Add Arvados-specific search path to Python SDK arvados.util.ca_certs_path.

8460: Tolerate None where dicts are expected in events.

8460: Rearrange erb so it is also syntactically valid YAML.

Bump schema-salad version to fix rdflib-jsonld dependency. refs #10576

8460: Use new ws server for integration tests only if ARVADOS_TEST_EXPERIMENTAL_WS is set.

8460: Move context-aware-logger code to ctxlog pkg.

8460: Add some docs/comments.

10383: args.dry_run wasn't being passed to ArvPutUploadJob class. Also avoid output messages when in dry-run mode.

Bump libcloud for ex_get_license() bugfix. refs #10686

Merge branch '10576-cwl-keep-fetcher' closes #10576

10576: Tweak Docker docs and add pipeline deprecation notice.

10576: Fix formatting in cwl-run-options.  Fix dangling refs tutorial-pipeline-workbench.html

Merge branch 'master' into 10576-cwl-keep-fetcher

Conflicts:
sdk/cwl/setup.py

10576: Add ability to run pipeline templates containing CWL from command line.
Split out command line documentation from running CWL tutorial.

refs #10028
Merge branch '10028-functional-full-text-search-indexes'

refs #10241
Merge branch '10241-container-diagnostics-test'

Merge branch '10383-arv-put-incremental-upload'
Closes #10383

10241: add a diagnostics test to run a process using a workflow.

10028: upgrade full text search indexes to not include leading space.

10576: Add retries to arvcontainer.  Add command line options to documentation.

8460: Fix deadlock at shutdown by closing event stream before unmounting.

If llfuse shuts down while a thread is in a "with
llfuse.lock_released" block, the llfuse lock cannot be reacquired, so
the "with" block waits forever instead of exiting. The event listener
thread lands in this state easily because handling a "collection
updated" event makes network requests in a lock_released block.

This deadlock bug started occurring frequently in
tests.test_token_expiry.TokenExpiryTest when using arvados-ws.

closes #10677
Merge branch '10677-container-request-rerun'

10677: Add a Re-run button to container_request#show page.

10576: Integrate CWL extensions page, reorganize running and developing docs.

10383: Fixed misuse of logger.error()

10383: Added --dry-run argument so that arv-put can be used inside a script to check if there is a pending file upload.

10576: Add CWL extensions page.

Nodemanager also logs libcloud package version, refs #10587

Merge branch '10587-node-manager-report-version' refs #10587

10587: Print arvados-node-manager package version on startup.

10383: Added logger calls for all error/warning/info messages that were printed directly to stderr.

8460: Add event_at and props.{new,old}.{pdh,owner} to websocket v0. Fix fuse crash when event_at or props.*.* is missing.

8460: Add object_kind field.

8460: Merge branch 'master' into 8460-websocket-go

8460: Fix copy-paste errors; use html entity instead of literal utf8 bullet.

10383: Start cache file from scratch when using --no-resume

10383: Merge branch 'master' into 10383-arv-put-incremental-upload

10383: Added 2 tests to check that no resuming take place when using either --no-resume or --no-cache.

10383: Exception usage correction

Merge branch '10276-remove-data-manager' closes #10276

10576: CWL tutorial documentation refactor WIP.

10383: Refactored the file upload decision code so that it first skims through
the entire list, instead of deciding one a file by file basis. This allows to
pre-calculate how many bytes are going to be skipped when resuming, and that
allows for a precise way of showing the upload progress report.
Also updated affected tests so they pass with this new way of counting bytes.

10276: Remove data manager (superseded by keep-balance).

10576: Set name default to name of workflow when running single command line
tools from workflow records.

Merge branch 'master' into 10576-cwl-keep-fetcher

Conflicts:
sdk/cwl/arvados_cwl/runner.py
sdk/cwl/tests/test_submit.py

10576: Bugfix, set self.uuid on ArvadosContainer.

Merge branch '10587-python-cli-version'
Closes #10587

10576: Set template_uuid when creating container request from workflow.  Set
default container request name from workflow name.

Merge branch '10674-wb-workflow-defaults' closes #10674

10674: Add test checking that "Run" button is disabled because required inputs
have not been filled in.

10585: Merge branch 'master' into 10587-python-cli-version

10674: Extend pipeline/workflow creation test to check that parameter with default value is filled in.

10383: Check for expired tokens when getting already uploaded files.

Merge branch '10681-cwl-wf-name-flag' closes #10681

10681: Add tests for workflow and template update.  Refactor slightly to reduce repetition.

Merge branch '10467-client-disconnect' refs #10467

10383: Changed the time between updates from 1 to 20 secs

10383: Removed deprecated --max-manifest-depth argument from the help message and ignore its value in make_path.

10681: Apply --name flag to creating and updating workflows and pipeline templates.

Merge branch '10686-gce-list-image-project' refs #10686

10686: Specify explicit project when listing images to fix problem with default
behavior listing debian-cloud images.

Merge branch '10681-cwl-name-flag' closes #10681

Merge branch '10684-ssl-ro' refs #10684

10684: Use read-only bind mounts for certs and crunchrunner.

10587: Added setuptools dependency to install_requires lists on arvados-cwl-runner, arvados-python-client, arvados-fuse and arvados-node-manager.

10576: Fix tests for cwl.input.json part of container request record and not
placed in keep.

10587: Added setuptools dependency to fpm package building on arvados-python-client, arvados-fuse & arvados-node-manager.

10681: Add --name flag to set name on pipeline instances and container
requests.

10587: Removed use of multiprocessing module on --version tests. Added a common stderr/stdout redirector context manager for code reuse.

closes #10300
Merge branch '10300-pipeline-display-error'

8460: Tweak logging keys, more similar to keepstore.

10576: Fill in cwl.input.json as a "json" mount instead of creating a new collection.