Merge branch '17014-controller-container-requests-take3'

closes #17014

Arvados-DCO-1.1-Signed-off-by: Nico Cesar <nico@curii.com>

Merge branch '17109-keepweb-urls-samesite-doc'
Closes #17109

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17109: Fixes typo.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17109: Explains how keep-web handles requests with tokens in the URL.

Adds a reference to the RFC that explains the Same-Site concept.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

addressing https://dev.arvados.org/issues/17014#note-41

Arvados-DCO-1.1-Signed-off-by: Nico Cesar <nico@curii.com>

17014: controller handles container requests

This commit has:
  * Container Requests in the new codepath
  * runtime_constraints and scheduling parameters have now default
    values and cannot be nil. This affects Railsapi CR comparison
    in Final state
  * Adapted Login and Logout so they work for CR
  * Tests in  lib/controller/integration_test.go that take in account
    runtime_token with intermediate clusters
  * Some tests in  lib/controller/federation_test.go had to be addapted,
    but for the most part remained as is to gurantee compatibilty
  * Added the check that SystemRootToken has to be non-empty
  * Railsapi fixtures that include finalized CR that are used in the tests to
    make sure we return the right object
  * Minimal changes in the documentation to reflect all the user visible
    changes
  * Added expires_at parameter for login and related test

Arvados-DCO-1.1-Signed-off-by: Nico Cesar <nico@curii.com>

Merge branch '17222-doc-add-keep-components-overview'

refs #17222

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'master' into 17222-doc-add-keep-components-overview

refs #17222

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17222: implement review feedback.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17222: add overview documentation for the components of Keep.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '16981-logincluster-sync-groups-tests'
Closes #16981

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Merge branch '17267-broken-schema-links' refs #17267

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17267: Add integration test for broken link in $schemas

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17267: Don't immediately fail if an extension schema is missing

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17109: Adds notes about Keep-web Same-Site restrictions.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Documentation: make the arvados-dispatch-cloud installation instructions
a bit more clear.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '16106-azure-spot-instance-support'

closes #16106

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16106: Merge branch 'master' into 16106-azure-spot-instance-support

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16106: address review comments.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16981: Removes the import cycle issue by moving code to lib/boot.

As the code was really meant to be lib/boot helpers, instead of having
it on the arvadostest package, it's now on lib/boot/helper.go

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

16981: Removes config loader code to fix import cycle.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

16981: Adds federation test on sync-groups.

Makes sure that running the tool on a federated cluster with admin credentials
from the LoginCluster works correctly.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Fixes a couple of typos on the documentation. No issue #.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

16106: update Azure preemptible node code after real world testing. Add
       documentation.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17224-login-sync' refs #17224

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17224: Document LoginCluster configuration for login-sync

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Documentation: fix typos.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16106: Merge branch 'master' into 16106-azure-spot-instance-support

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17175-boot-fail-rake-seed'

fixes #17175

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

16981: Extracts test federation building code to the arvadostest package.

This is going to be reused on other integration test suites.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Fix typos in the documentation.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17225-ruby-sdk' refs #17225

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

We now publish packages for Ubuntu Focal (20.04), and have stopped
publishing them for Ubuntu Xenial (16.04).

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17224: Provide alternate credentials to use for creating user tokens

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17224: Fix to have multiple clients connected to separate clusters

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17151-system-token-validation'

closes #17151

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17175: Wait for seedDatabase before starting railsapi.

If the rake task and the app start concurrently, they both try to set
up the database seeds. The exclusive-locking mechanism in
services/api/app/lib/current_api_client.rb doesn't cover this case
because the rake task and app don't use the same cache. If the app
commits the database seeds between the rake task's "check existing"
and "commit" steps, commit fails and the rake task aborts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17175: Fix logging label for setuidgid-wrapped procs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '17218-update-apt-repos'

closes #17218

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Update the provision script to use the new arvados-formula

ref #17218

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Fix arvados-src package version generation.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17118-arvput-fix'
Closes #17118

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Fix detection of packages that were already built.

refs #17218

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17218-repository-update'

closes #17218

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

We've made a change in the structure of our apt repositories.

refs #17218

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17118: Changes the way exception raising is done on PySDK's KeepWriterThread.

This solves the OOM bug where some keepstores fail when uploading data.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Fix a few staticcheck warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix a few more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix another golint warning.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17208-s3-signature-double-slash'

fixes #17208

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix a few more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17152-collection-preserve-version-changes'
Refs #17152

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17208: Update test for s3cmd's new console output.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17152: Improves modified_at conditional update check.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17152: Moves conditional preserve_version disabling to collection's controller.

There was a bug that flipped preserve_version to false after creating a new
version even though the update request included preserve_version=true.
This happened because the logic was at model level, and was incorrect because
at that level we cannot know if the client included the attribute on its
request.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17208: Add test case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17208: Merge branch 'master'

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17152: Avoids creating audit logs when only 'preserve_version' is updated.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17152: Changes preserve_version semantics, updates related documentation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17152: Updates collection tests to reflect the new behavior.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17152: Updates API revision number.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17208: Use normalized path to compute signatures.

Transparently clean paths containing "//".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Costanalyzer bugfix: when a collection uuid is supplied, write the csv
files with the name of the associated container request uuid, not the
collection uuid. Also change tests to use a proper temporary directory
for the outputs, and do not reuse that directory between tests (which
hid the bug this commit fixed).

refs #17187

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17202-no-redir-crossorigin'

refs #17202

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix ineffassign warning.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17152-collection-versions-fixes'
Refs #17152

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17202: Test avoiding redirect for cross-origin inline images.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '17199-available-port-race'

fixes #17199

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17202: Use explicit SameSite=Lax for 303-with-cookie.

This improves XSS protection on some browsers, including Safari and
Firefox for Android.

On most browsers, Lax is already the default.

https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Set-Cookie/SameSite

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17202: Bypass 303-with-token on cross-origin requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17187-costanalyzer-updates'

closes #17187

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17187: Merge branch 'master' into 17187-costanalyzer-updates

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17151: Merge branch 'master'

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17161-doc-system-root-token'

fixes #17161

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17199: Avoid returning same port twice from find_available_port().

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Warn about missing/short secrets. Delete Rails session key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17187: implement review feedback:

* uuids are now specified at the end of the option list
* invalid uuids will cause the command to error out
* output directory is now optional

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17009-s3-vhost-list'

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix tests.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17177-use-newly-created-ca'

closes #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): update arvados-formula's version

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): pin arvados-formula

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): add port to workbench2 nginx's stanza

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17187: costanalyzer: print the total from the aggregate cost accounting
       across all uuids to stdout.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17187: costanalyzer: allow specifying multiple comma-separated uuids via
       one -uuid argument

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17187: costanalyzer: add support for collection uuids.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

fix(provision): pin formulas' versions

* Pin formulas versions, to prevent changes upstream breaking the installer
* Remove verbose/debug flags
* Remove unused entries in the config pillars

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): Document CA certificate purpose and installation

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): Add a CA and sign certificates with it

refs #17177

As discussed [here](https://forum.arvados.org/t/debugging-arvados-deployed-with-salt/58/8)
and [here](https://gitter.im/arvados/community?at=5fc65683496ca3372e3474a3), Arvados needs
certs signed by a known CA to work correctly.

This PR adds a CA and leaves a copy of the certificate in the installer directory.

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17009: Fix s3 ListObjects endpoint with vhost-style requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17009: Test virtual host-style S3 requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17152: Adds migration to fix collection versions' modified_at timestamps.

Also, with test.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

17152: Publishes the arvbox WebDAV download port.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Upgrade script/create_superuser_token.rb in the api server codebase to
generate v2 tokens.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Clarify token details for the arv-user-activity tool.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17161: Improve SystemRootToken docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Update error regexp in test case.

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

fix(docs): broken link

reported on [github](https://github.com/arvados/arvados-formula/issues/3#issuecomment-733019750)

No issue #

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>