Package build directories get same owner as $WORKSPACE.

Since this script runs as root inside the Docker container, the
directory created on the previous line is normally owned by root too.
This causes trouble when the package tests run later and try to create
repository information inside the directory.  See, e.g.,
<https://ci.curoverse.com/job/build-packages-sso/23/consoleFull> for a
build that failed because of this.

No issue #.

Merge branch '9309-centos-7-rails-scripts-wip'

Refs #9309.  Closes #9351, #9345.

9345: Use same script to test all Rails packages.

We want to simplify the SSO test script for a variety of reasons.  We
don't want the package to depend on the PostgreSQL server; testing
proper PostgreSQL server configuration is a little out of scope for
this; and it's difficult to execute the test in a CentOS 7 Docker
image.  This commit has the SSO server follow the same test strategy
as other Rails servers.

9309: Add systemd support to Rails package scripts.

Merge branch '9374-go-sdk'

refs #9374

9374: Remove unused receivers.

9374: Fix uses of "this" as receiver name.

9374: Use arvados.Collection instead of own CollectionRecord.

9374: Propagate API transaction error details from response body to caller.

9374: Add arvados.APIClientAuthorization.

9374: Consolidate various Container structs as arvados.Container.

Merge branch '9388-websocket-every-notify' closes #9388

Merge branch '8442-crunch-run-enable-net' refs #8442

9388: Reset sent_ids for consistency

9388: Add ws.notify_queue to ensure that notifies occurring during "catch up"
will get delivered in the correct order after catch up completes.

9388: Only record log ids sent during "catch up" phase, to avoid duplicates.

closes #9274
Merge branch '9274-requesting-container-uuid'

Merge branch '9370-crunch2-packages-wip'

Closes #9370, #9382.

9370: Package Crunch v2 dispatch services.

9370: Alphabetize the package_go_binary list.

8442: Enable net when API is enabled.

bumped the selenium driver version to 2.53.1 to see if we can manage our way out failed builds

no issue #

9309: Bugfix Ruby source install instructions for CentOS.

* Add missing `make` dependency.
* Add `-i` to `sudo gem install` throughout.  Red Hat adds /usr/local
  paths to $PATH in `/etc/profile`, so we need `-i` to find `gem`.

Refs #9309.

refs #9318
Merge branch '9318-dashboard-uses-work-units'

9318: fixed outputs display issue where "outpus: []" is being shown when there are no outputs.

9274: while creating a ContainerRequest, set requesting_container_uuid based on the token.

9388: Record every log id sent and don't send duplicates.

closes #9318, closes #8650
Merge branch '9318-dashboard-uses-work-units'

Merge branch 'master' into 9318-dashboard-uses-work-units

9388: Process each notify individually instead attempting to batch them up.

Prior to this commit, websockets used to try to send log events out in batches,
by getting all logs with an id greater than last log that was sent.
Unfortunately, under concurrent database writes, logs from uncommited
transactions may not appear in the query even if logs with larger ids do
appear.  This results in the uncommitted log never being sent out because
subsequent batch sends would not consider logs prior to the last log id that
was sent (which, in this case, is higher than the log that was missed.)

This commit eliminates the batching behavior.  Because NOTIFY includes the log
id of a specific record that was committed, consider only the log record with
that id and process events in the order that the NOTIFY events arrive.  This
means events may be delivered out of numeric order (although they now more
closely reflect the "actual" order, e.g. the order that the events were
actually committed to the database).

"Catch ups" where the client has specified a last_log_id and needs to have past
logs replayed continue to be sent in batches.

9187: Add priorities to crunch-dispatch-local test containers.

This is necessary to keep the tests working after
2c4ff054b533c62ecdb269963d3ab0af20d2df8b.
Otherwise, crunch-dispatch-local declines to do anything with them.
Refs #9187.

Merge branch '9187-requeued-containers' closes #9187

9187: Add comments.

9318: Update the compute node status pane to make sure the Details option is only offered when there are any active nodes.

Merge branch 'master' into 9318-dashboard-uses-work-units

9318: remove :output method in favor of :outputs method and correct the logic for various object models.

Merge branch '9278-expiring-collections'

refs #9278

9278: Ensure locator signatures expire no later than expires_at.

9278: Expose expires_at in API response.

9278: Set expires_at=now if a client sets it to a time in the past.

The definition of "now" in the default collection scope changes from
current_timestamp (time the current transaction started) to
statement_timestamp() (time the current statement started) so a test
case can expire a collection and then confirm that it is not in the
default scope, all within a single test transaction.

Merge branch '9309-postgresql-install-guide-wip'

Refs #9309.  Closes #9367.

9309: Separate PostgreSQL setup page in Install Guide.

This provides us with a few benefits:

* We have a place to discuss the different deployment options
  installers have around PostgreSQL.
* PostgreSQL setup is very distro-specific (and it's going to get
  worse when we add CentOS 7), so this can take some of that noise out
  of the Rails server install guides.
* People who want to try new things, like cloud database services,
  get a clearer separation of the install process and the database
  setup process.

9187: Don't try to take lock on containers with priority 0.

9187: If a container is reported Queued, but we are monitoring it, stop monitoring it.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

8650: test and fixture update

Merge branch 'master' into 8650-container-work-unit

closes #8087
Merge branch 'wtsi-hgi-8087-arv-cli-request-body-from-file'

Merge branch 'master' into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch '8087-arv-cli-request-body-from-file' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch 'master' into 9318-dashboard-uses-work-units

refs #8876
Merge branch '8876-work-unit'

8876: Pass work unit to determine_wallclock_runtime, not the original object.

Merge branch 'master' into 9318-dashboard-uses-work-units

closes #8876
Merge branch '8876-work-unit'

8876: remove show_child_summary and replace it with is_running?

Bugfix submitting cwl jobs with arvados-cwl-runner refs #9275

Merge branch '9275-cwl-runner-creates-jobs' closes #9275

9275: Initial pipeline/job component update from response

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: when computing cpu and running times, use the work unit's start and finished times if there are no children.

9318: running and finished containers and fixtures updated.

9275: Update the update_pipeline_component method to check if pipeline is null.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/models/proxy_work_unit.rb

8650: some more methods in ContainerWorkUnit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: Use JobWorkUnit for pipeline components and cleanup.

9275: add record to cwl_runner_job as components

Merge branch '9187-crunchv2-dispatching' closes #9187

Merge branch 'master' into 9187-crunchv2-dispatching

9187: Remove "squeueError" because checkSqueue for a successful squeue run.  Refactor tests a bit and add a test for canceling containers.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/views/work_unit/_progress.html.erb
apps/workbench/test/unit/work_unit_test.rb

Merge branch '8876-work-unit' into 8650-container-work-unit

Conflicts:
apps/workbench/test/unit/work_unit_test.rb

8876: add tests for link_to_log and queuedtime etc.

8876: introduce view helper methods such as link_to_log and queuedtime etc so that the views do not have to do too many decisions based on the state of the work unit.

9187: Fix refactoring messup

8876: display "no process has been submitted" when a child uuid is not presented.

Merge branch '9272-use-container-auth'

closes #9272

9272: Skip slow test when running -short tests.

9272: Simplify json decoding with Unmarshal.

9272: Fix up state transitions:

* Change state to Running only at the last possible moment before
  starting the container.

* When erroring out before Running, change state back to Queued.

* Do not save log/output/exit code when changing state to Cancelled.

Incidental fixes:

* Clean up error handling in Run()

* Don't create a collection for (or try to attach to the container)
  the second "cleanup activities" log that gets opened after closing
  the real container log.

9272: Pass container auth info into container if requested.

9272: Get container auth instead of passing the dispatcher token into the container.

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

9318: Compute node summary pane includes queued and locked containers.

9187: Fix comment typo

9187: Add documentation comments to Squeue functions.

9187: Improve squeue synchronization

* Put squeue functions into separate file.

* CheckSqueue() now blocks on a condition variable until the next successful
update of squeue, which then wakes up all goroutines waiting on CheckSqueue().

* Never do anything when squeue returns an error.

* Merge submitting, monitoring, and cleanup behaviors into a single goroutine
which updates based on CheckSqueue() instead of a ticker.

* Introduce a lock on squeue, sbatch and scancel operations, so that on next
wakeup the queue is guaranteed to reflect most recent sbatch/scancel
operations.

9318: "Active" and "Recently finished" panes in dashboard are updated to use work_unit interface.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: success? includes Canceled as well.

8650: add children to container_work_unit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: move some methods such as log and output from job_work_unit into proxy_work_unit to aid reusability.

8650: add container_work_unit

8876: child_summary_str checks if total > 0

9187: Slurm dispatcher improvements around squeue

* Clarify that status updates are not guaranteed to be delivered on a
heartbeat.
* Refactor slurm dispatcher to monitor the container in squeue in a separate
goroutine.
* Refactor polling squeue to a single goroutine and cache the results so that
monitoring 100 containers doesn't result in 100 calls to squeue.
* No longer set up strigger to cancel job on finish, instead cancel running
jobs not in squeue.
* Test both cases where a job is/is not in squeue.