Merge branch '10497-cwl-job-logs' closes #10497

Merge branch '10722-cwl-subworkflow' closes #10722

10497: Replace \d\d\d\d with \d{4}

8345: Build python27-python-contextlib2 for centos7.

refs #8345

Fix version# of centos7 llfuse backport.

No issue #

Bring back ca-certificates to package-testing images.

No issue #

Merge branch '8345-llfuse-1.0' closes #8345

Merge branch 'master' into 8345-llfuse-1.0

Conflicts:
build/package-test-dockerfiles/debian7/Dockerfile
build/run-build-packages.sh

Obey --only-build arg in "test packages" mode.

Update package-test images to ruby 2.3

Merge branch '10785-remove-debian7'

closes #10785

8345: Build python27-python-contextlib2 for centos6.

8345: Upgrade to llfuse 1.0

8345: Revert change to getattr() @catch_exceptions setup.

8345: Fix dirent timestamps.

8345: Pin llfuse to <1.0

8345: fix whitespace

updates test_mount to use st_mtime_ns instead of st_mtime

updates setattr for llfuse-python 0.42

adds backports specific to centos6

adds missing fix for llfuse 0.42+

llfuse.capi._notify_queue => llfuse._notify_queue

updates llfuse requirement and API to >=0.42

Remove debian7 from the build directory.

refs #10785

10722: Issue better error when 'id' is missing.

10497: Add logname (crunch-run, stdout, stderr) to container log tail

10497: Filter crunchstat lines to make more space for useful logs.

10497: Increase number of log lines shown by runner.  Turn off 'debug' mode on crunch script.

10497: Don't prefix every line of log from job.

10497: Add --no-log-timestamps to eliminate redundant timestamps when running in Arvados job or container.

Conflicts:
sdk/cwl/setup.py

10497: Print last 25 lines of log when job fails.

Merge branch '10782-container-retry' closes #10782

10782: Bugfix, on retry only update container_uuid on container requests
associated with the container in the first place.  Update container retry test.

Fix crunch script to construct toolpath before it is turned into a File object. refs #10497

Merge branch '10497-cwl-better-errors' refs #10497

Arvbox common.sh script won't fail if bundler gem not cached on disk.
Don't push docker images if build fails.  no issue #

10497: Add pathlib2 to backports

10497: Pop cwl:tool parameter from job order

10497: Update ruamel.yaml, schema salad, and cwltool

10497: Use SourceLine in context manager in PathMapper.  Remove unnecessary import.

10497: Improve up front feature checking and error reporting.

10497: Add source line reporting to errors and fix tests to work with CommentedMap/Seq behavior.

10497: Update cwltool & schema salad versions.

Load keep-balance config from default location if -config arg not given.

No issue #

Arvbox use --local to install bundler if gem is available, also recognize .tar.bz2 in
pip cache.  no issue #

Merge branch '10273-check-superuser-token-scope' refs #10273

10273: Check scope=[all] when looking for an existing superuser token.

Add a mechanism to the arvados-api Gemfile to load 'plugin' gems.

refs #9982

Merge branch '10778-expand-job-bug' - Fixes #10778

Ensure column information is up-to-date before creating full text indexes. refs #10028

Ignore editor backup files & .DS_Store

no issue #

Fix pipeline instance expand - fixes #10778

Switch to 2 space indent - no functional changes

Merge branch '10585-crunchstat-lost-parent' refs #10585

10585: Clean up defaults and error checks; release ticker when finished.

Merge branch '10671-pipeline-instance-finish-time'
Closes #10671

10671: Merge branch 'master' into 10671-pipeline-instance-finish-time

10671: Changed default assigments to be before validation. Also make sure started_at is not nil when pipeline instance is finished.

Merge branch '10467-client-disconnect' refs #10467

Merge branch '10497-crunchrun-logs' refs #10497

10467: Merge branch 'master' into 10467-client-disconnect

10497: crunch-run records logs even when container is cancelled.

10671: Merge branch 'master' into 10671-pipeline-instance-finish-time

10671: Set up values for pipeline instance started_at and finished_at attributes on state changes.
Updated tests accordingly.

Fix CWL tests affected by minimum_script_version tweaks.  no issue #

Adjust arvados repo minimum script versions for job dispatch. no issue #

Fix dev build of arvados/jobs image to avoid installing versions of
pyasn1-modules incompatible with pyasn1.  no issue #

Fix crunch_script.py to pass name arg, refs #10681

Merge branch '10383-arv-put-incremental-upload'
Refs #10383

10383: Merge branch 'master' into 10383-arv-put-incremental-upload

10383: Fix for making arv-keep-get tests pass.

10585: Add crunchstat -signal-on-dead-ppid option.

Merge branch '10684-crunch-run-ca-certs' closes #10684

Fix CWL tests refs #10576

10684: Don't overwrite default certs search path unless -ca-certs provided.

10684: Add -ca-certs option

10383: Error out when using --name and --update-collection together.

10684: Refactor into MakeTLSConfig().  Only look for
/etc/arvados/ca-certificates.crt and then fall back onto system certs.  Skip
looking for arvados-specific certs if insecure is true.

10383: Merge branch 'master' into 10383-arv-put-incremental-upload

10684: Only bind mount certificate when API access is indicated.

Merge branch '10690-config-dump' refs #10690

Merge branch '8460-websocket-go' refs #8460

10467: Abandon Azure requests if client hangs up.

10690: Add "rake config:dump" task to Workbench and API server.

We should not hardcode dependencies in our packages for secondary
dependencies of our dependencies. If you catch my drift.

pyasn1-modules is a dependency of oauth2client which is a dependency of
google-api-python-client. Which is a dependency of
arvados-python-client.

Pinning a dependency on pyasn1-modules=0.0.5 in arvados-python-client
does not make sense. It also does not appear to be necessary at all. And
it currently breaks the CentOS7 package build.

refs #10713

Revert "8654: Pin pyasn1_modules to version that is compatible with pyasn1==0.1.7."

This reverts commit 436105d3e249ad8dc55fb618d0d2c0d8ed29b395.

8460: Merge branch 'master' into 8460-websocket-go

10684: crunch-run adds /etc/arvados/ca-certificates.crt to binds, updated tests.

Tidy up queue usage. No issue #

10684: Add Arvados-specific search path to Go SDK TLSClientConfig.

10383: Remove files from local_collection which don't exist locally, so that the bytes_written count is accurate.

10684: Add Arvados-specific search path to Python SDK arvados.util.ca_certs_path.

8460: Tolerate None where dicts are expected in events.

8460: Rearrange erb so it is also syntactically valid YAML.

Bump schema-salad version to fix rdflib-jsonld dependency. refs #10576

8460: Use new ws server for integration tests only if ARVADOS_TEST_EXPERIMENTAL_WS is set.

8460: Move context-aware-logger code to ctxlog pkg.

8460: Add some docs/comments.

10383: args.dry_run wasn't being passed to ArvPutUploadJob class. Also avoid output messages when in dry-run mode.

Bump libcloud for ex_get_license() bugfix. refs #10686

Merge branch '10576-cwl-keep-fetcher' closes #10576

10576: Tweak Docker docs and add pipeline deprecation notice.