Merge branch '9119-oj-load-strict'

refs #9119

9119: Use Oj strict mode for decoding JSON.

Update version pin for cwltool fpm packages. refs #8653

Merge branch '8998-optimize-decode-www-form-component' closes #8998

Fix inverted test for pypi/gem upload logic. Make upload more verbose.

No issue #

Use "grep -xF ... >/dev/null" instead of "grep -qxF ..."

1. -q "Exit immediately with zero status if any match is found, even if
an error was detected." --grep(1)

Depending on buffering and timing, if grep exits early (before
consuming stdin) "docker images" can receive SIGPIPE and exit
non-zero. We use "set -o pipefail" here, so this fails the "docker
load" phase and then the whole job.

2. "Portable shell scripts should avoid both -q and -s and should
redirect standard and error output to /dev/null instead." --grep(1)

No issue #

Merge branch '8653-cwl-to-template'

refs #8653

8653: Add arvados-cwl-runner --create-template flag

8653: DRY testing code.

8653: Turn off debug messages / verbose logging in test suite.

8653: Fix whitespace.

8998: Monkey patch URI.decode_www_form_component to validate efficiently.

Rack uses the standard library method URI.decode_www_form_component to process
parameters.  This method first validates the string with a regular expression,
and then decodes it using another regular expression.  Ruby 2.1 and earlier has
a bug is in the validation; the regular expression that is used generates many
backtracking points, which results in exponential memory growth when matching
large strings.  The fix is to monkey-patch the version of the method from Ruby
2.2 which checks that the string is not invalid instead of checking it is
valid.

Fix arvbox only run pipelines with crunch-dispatch0 to avoid submitting duplicated jobs. no issue #

refs #8937
Merge branch '8937-arv-put-cache-check'

8937: refactor cache check logic into a check_cache method and update all references.

8937: invalidate cache and create new one if there are errors on head request during ResumeCache.

8937: updated arvados_testutil.py to skip setting resp_body to writer when it is a boolean.

8937: Return True for Head requests in KeepClients. The tests in KeepClientRetryHeadTestCase are failing due to this and need to be worked on.

8937: test updates

8937: bypass cache for all head requests.

8937: add head request to python keep client.

Read resource object from a file, e.g., arv collection create --collection /tmp/foo.json

No issue #

Log a banner at the top of each test.

No issue #

Merge branch '8963-arv-copy-link-properties-wip'

Closes #8963, #9110.

8963: arv-keepdocker copies metadata links' properties.

Merge branch '9066-max-requests'

refs #9066

9066: Add keepstore -max-requests argument.

Merge branch '9017-skip-slow-tests'

refs #9017

9017: Add run-tests.sh --short flag to skip (some) slow tests.

Merge branch '8931-event-thread-catch-exceptions' closes #8931

8931: Fix indentation mistakes.  Fix tests.

Fix centos6 packages build.

No issue #

8931: Use RetryLoop around websocket reconnect.  Create a new _EventClient
object on each loop iteration.  Handle unexpected exceptions in PollClient
retry loop.

closes #8936
Merge branch '8936-ttl-in-signing-key'

Merge branch 'master' into 8936-ttl-in-signing-key

Merge branch '8831-crunchrunner-doc'

closes #8831

8831: Add crunchrunner to shell node dependencies.

8831: Add crunchrunner to compute node dependencies.

8936: add test to verify blobSignatureTTL from discovery when it is not provided.

Fix building packages: work around pip having a mind of its own with
regard to downloading zip or tar archives.

This requires the addition of the 'unzip' tool to the docker images used
to build packages, so they will need to be rebuilt.

No issue #

8936: update keep-block-check and keep-rsync to properly use blob-signature-ttl to perform the signature verification.

Fix a bunch of misspellings in our Go code (all in comments).

Thank you https://goreportcard.com/report/github.com/curoverse/arvados#misspell

No issue #

Bump cwltool fpm package version to fix package builds.  no issue #

8931: Use RetryLoop to retry api calls.  Add max_wait to RetryLoop.  Add test
for api error retry.

closes #8936
Merge branch '8936-ttl-in-signing-key'

Fix race conditions in test_node_undrained_when_shutdown_cancelled
and test_boot_new_node_when_all_nodes_busy. refs #8953

8936: updated blob_test.rb to continue to use the default blob_signature_ttl.

8936: update go tests to use a blob-signature-ttl different than 1s.

Pin bump cwltool dependency and pin version so it doesn't break again due to
external changes.  no issue #

8936: update the blob_test to use a specific blob_signature_ttl to ensure consistent results.

8936: update comment on keepstore and go fmt

8936: address review comments

Merge branch '8936-ttl-in-signing-key-TC' into 8936-ttl-in-signing-key

Arvbox run websockets in separate puma server instead of in API server process.
no issue #

Don't shut down if state is ('down', 'closed', 'boot wait', *) refs #8953

Merge branch '8697-ruby187-compat'

refs #8697
refs #8689

Merge branch '9014-keep-block-check-package'

closes #9014

adding new package for block checks

refs #9014

Merge branch '8953-no-double-count' refs #8953

6833: Fix excessive debug logging in TokenExpiryTest and subsequent tests.

Excessive logging was introduced (seemingly unintentionally) in d3313e65.

refs #6833

Don't double-count nodes that are shutting down.  refs #8953

Merge branch '9009-keep-web-close-conns'

closes #9009

9009: Fix missing Close() in collectionreader.

Merge branch '9004-close-keep-connections'

refs #9004
refs #9005

Change Check to Assert to avoid crash after failure. No issue #

9005: Workaround: Close idle connections aggressively.

Currently, the SDK code never reuses connections anyway, so it's best
to shut them down right away.

8936: Warn about disruptive effect of modifying blob_signature_ttl and blob_signing_key.

8936: update blob-signing-ttl related documentation.

8936: consider blobSigningTtl while generating and verifying signatures.

Don't issue drain when shutdown has been cancelled.  refs #8953

Don't try to drain node if no nodeename associated.  refs #8953

Merge branch '8953-node-manager-FSM' closes #8953

8953: Don't start shutdown on 'drng*' or 'alloc*'.

8953: Assign to tuple (eligible, reason)

8953: shutdown_eligible() returns a tuple.  Report reason for shutdown decision.

8953: Clarify how to use return value from consulting transitions table and shutdown_eligible().

8953: Fix indentation of shutdown_eligible().

8953: Add missing transitions.py

Fixup test_node_undrained_when_shutdown_cancelled and test_alloc_node_undrained_when_shutdown_cancelled.

8953: Tests pass, with some removed due to removal of the corresponding behavior.

8953: Node manager shutdown policy change WIP.  Still fixing tests.

Add /var/lib/gopath and /var/lib/pip permissions fixup to Arvbox createusers.sh
to fix demo build, no issue #

8697: Fix Locator.parse() (was failing on locators with hints).

8697: ruby 1.8.7 compatibility in arvados/collection.

8697: Move error messages from stdout to stderr.

8697: Relax version constraints so gem can be used in ruby187/ree projects.

Merge branch '8959-python-gflags-dependencies'

Revert "I <3 pythong-gflags"

This reverts commit e935e107a4ac6250ae64878262c3145d7a62b8e8.

Merge branch '8959-python-gflags-dependencies'

I <3 pythong-gflags

closes #8959

8959: pinning out the version of python-gflags

refs #8959

Merge branch '8893-crunch-job-volumes-array-wip'

Closes #8893, #8921.

8893: Safer quoting of crunch-job's conditional volume switches.

Packing arguments into an array allows us to both have a variable
number of switches, with correct word splitting, even when the
indivdiual arguments in the array have whitespace.

Propagate designated stdout stream from keepdocker.main() to put.main().
no issue #

closes #8724
Merge branch '8724-keep-block-check-script'

Merge branch 'master' into 8724-keep-block-check-script

8931: Add retry and exception handling around PollClient initial log query a well.

Rename "rebuild" back to "reboot" and change "rebuild" to mean "build
--no-cache". "arvbox start" no longer fails if the container is already
running. Update docs.  no issue #

4083: crunchstat-summary imports _strptime.

Refs #4083 for rationale.
Refs #8933 where this was reported.
See also d9014288.

Merge branch '8912-node-manager-patch-nodes-wip'

Closes #8913, #8923.  (The branch name has a typo.)