Support setting replication level at destination in arv-copy options

arv-copy effectively used a hard-coded replication level 2 for the
copied collections at the destination, bypassing the default replication
level set in the destination cluster's configuration file. There was no
command-line option to override this behavior.

A new command-line option, --replication, is added to the arv-copy
command, following the arv-put command's semantics. If left unspecified,
the destination's default replication setting is used. If that setting
cannot be found, use the fallback value of 2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Merge branch '22466-output-glob-fix' refs #22466

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: A few more exception handling tweaks

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: Check if pattern is falsy instead of checking len()

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: use a distinct OutputGlobError when setting output_glob

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22506-workspace-arg'

closes #22506

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22506: Don't support setting arbitrary env vars on command line.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22433-test-fixes'

refs #22433

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22466: Use better exception types

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: Reorganize block processing patterns to use exceptions

Now uses exceptions to indicate any condition where it cannot
determine a correct value for output_glob, which should make the logic
a bit easier to follow.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22420-file-update' refs #22420

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Added "on next access" to "--refresh-time" help string.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22160-retry-container-req' refs #22160

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22160: Check all three possible return states

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22160: Add test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22433: DRY up download recipes

Use Make's built-in variables to avoid duplicating paths.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Update package build to Node 14.21.3

This matches lib/install/deps.go and tools/ansible/install-test-env.yml.
I don't want to parse it out of deps.go a la goversion because we're
looking to get rid of that soon-ish.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Switch from wget to curl for package-build-dockerfiles

This is the only place in our build process where we depend on wget, so
removing it in favor of curl simplifies things.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Update package test scripts to accommodate Rails postinst failing

These scripts were relying on the previous behavior of the postinst
reporting success even if the package wasn't fully installed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Remove stray local statements from Rails postinst

These should've been removed in 4bdf19541cf8775f3c60042f511f63827c5a9f34.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22433-rails-postinst-exit-code'

Refs #22433. Closes #22448.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22051-integrate-resource-to-menu-kind'

refs #22051

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22420: rename the --poll-time option to --refresh-time

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22051: changed isRoleGroupResource to use isUserGroup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22437-ansible-dir'

Refs #22437. Closes #22447.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21547-retryable-db-error' refs #21547

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Fix reference to db connection

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Fix ruby syntax and add tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22467-extra-fulltext-index'

fixes #22467

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21547: Don't retry row_lock_for_priority_update deadlocks

It seems like retrying a deadlock is counter productive -- it ties up
a request slot and holds a transaction open.  I believe returning a
500 error and having the client retry will be more robust.

This also adjusts the locking query to select and order by the primary
key (id).  This is speculative and based on a stack overflow comment
suggesting that the doing lock ordering on a field other than the
primary key causes rows to be first acquired with share locks (out of
order) and then subsequently converted to exclusive locks (in order),
and this can be avoided by using the primary key.

Since I haven't been able to determine any other reason the ordered
locking, which is specifically implemented to prevent deadlocks but
deadlocks anyway, it's worth a shot.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Return certain database errors as 500 for retry

ActiveRecord errors which are related to locking or communicating with
the database should be returned as code 500 so the client knows to
retry.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22160: If error committing a container request, re-check it

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22051: added canManage and canWrite defaults because they are possibly undefined

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: added missing user group filter

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: changed groups-panel to use resourceToMenuKind

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: smoothed out type predicates

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22466: Handle case where we get the 2ndary filename from the expression

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: Additional improvements identifying secondary files

In circumstances where we can safely identify the primary and
secondary file (the filenames are sufficiently well characterized in
advance) then we can use output_glob.  If not, capture everything, and
make sure we don't throw any spurious errors.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: compute output_glob for secondary files after expression eval

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22466: Test for bug 22466

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22437: Fix markup typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22437: Add missing playbook path to documentation

You must pass a playbook to `ansible-playbook`, the documentation was
plain buggy before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22437: Move Ansible playbooks and roles to a dedicated directory

We already have playbooks for things besides the compute image build,
and we expect to develop more.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Report a failure status if RailsAPI postinst does not complete

In the past, we specifically wanted to return exit code 0 if RailsAPI
couldn't be installed because of missing configuration or supporting
database. This meant the message we reported about it was the last
thing users saw, and they could get to work fixing it.

However, we are really pushing to get people to use higher-level
installers like Salt and Ansible. In this scenario, the exit code 0 is a
problem: it means the installer will assume RailsAPI is good to go even
if it isn't.

Now we prioritize this case over the by-hand install and exit with an
error code if postinst cannot complete.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22433: Flatten RailsAPI postinst script

The previous version had most of the work in a giant `configure_version`
function and then just did a little status reporting at the end. Reverse
that relationship: have the main functionality be the top level of the
script, and move incomplete install reporting to a dedicated function.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22420: Update collection.notify documentation string.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Added --poll-time and tweaked some tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Apply the stale-then-update pattern to files

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Correctly distinguish TOK and MOD events

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Check if file needs kernel cache refresh on open

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Check "can_write" instead of "writable_by"

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Flushing files flushes update the parent collection

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Fix TOK events causing conflicts-file-update

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Refactor Collection automatic update and merge

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Set correct polling time based on collection id type

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22420: Fix file invalidation when updated upstream

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22051: smoothed out types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: removed getResourceWithEditableStatus and associated unit test

* removed test's functionality is covered in resource-to-menukind.cy.js

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: refactored getResourceWithEditableStatus

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: context menu comp tests pass

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: replaced all resourceToContextMenuKinds with resourceToMenuKind

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: created new resourceToMenuKind function

* also applied some memoization to resource getters

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22414-max-rails-requests'

fixes #22414

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22435-no-migration-timeouts'

fixes #22435

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22467: Remove unneeded search index.

Removed in 7f4d69cf43a7a743a491105665b3b878a3cfd11c and re-added by
20240402162733_add_output_glob_index_to_containers.rb in
dcdf385b2852acf95f41e2340d07cd68cb34e371.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Allow database connection options to be missing.

These were silently accepted before and accidentally became mandatory
in 1b9c6f10d4f9786ac574dfaa3f7e43295c0e90f1.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Refine shell style in new migrate commands

* Prefer `env -C` over `cd` to avoid changing global state.
* Declare local variables where possible.
* Remove needless eval.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22434-spot-check-warning'

fixes #22434

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error message: "inconclusive".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: URL-encode All The Strings in database connection string.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Add "migrate" command to run-tests.sh

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Disable statement timeout during db migrations.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22411-keepstore-index-timeout'

fixes #22411

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Fix spot check error message that lies about retrying.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22431-tunnel-log-spam'

fixes #22431

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22431: Add comments about runTunnel return value.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22428-run-tests-targets'

Refs #22428.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22431: Remove spammy/debug logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error messages to be less spooky.

Also, update logic to avoid emitting confusing logs/runtime_status if
we get an interruption notice followed by an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Guard target list against undefined/incorrect WORKSPACE

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22428: Better anchor excluded test function regexp

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22414: Increase default MaxConcurrentRailsRequests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Fix hardcoded port number in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Update Hijack usage in websocket server.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Do not apply RequestTimeout to keepstore index handler.

This updates our code to account for the ResponseController pattern
(see https://tip.golang.org/doc/go1.20#http_responsecontroller):

Update prometheus client library to a newer version whose middleware
supports Unwrap.

Use http.NewResponseController(w).Hijack() instead of probing for the
Hijack() interface.

Use a explicit function call to disable the request timeout when
needed, instead of magically detecting whether the connection has been
hijacked.

(Our old way of detecting hijacking doesn't work if it's done via
ResponseController.  Since we're adding an explicit "disable timeout"
mechanism anyway, it's much simpler to just write "hijack and cancel
timeout" when needed, rather than implement a new way to detect
hijacking.)

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Test that keepstore index is exempt from RequestTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Make run-tests.sh target lists complete

* Remove the static target list from helpmessage.

* Move all top-level code below all function definitions so it's easier
  to follow the flow of execution.

* Automatically generate testfuncargs based on defined test functions.

* Use testfuncargs as the source of available targets.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>