Merge branch '17009-s3-vhost-list'

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix tests.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17177-use-newly-created-ca'

closes #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): update arvados-formula's version

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): pin arvados-formula

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): add port to workbench2 nginx's stanza

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): pin formulas' versions

* Pin formulas versions, to prevent changes upstream breaking the installer
* Remove verbose/debug flags
* Remove unused entries in the config pillars

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): Document CA certificate purpose and installation

refs #17177

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(provision): Add a CA and sign certificates with it

refs #17177

As discussed [here](https://forum.arvados.org/t/debugging-arvados-deployed-with-salt/58/8)
and [here](https://gitter.im/arvados/community?at=5fc65683496ca3372e3474a3), Arvados needs
certs signed by a known CA to work correctly.

This PR adds a CA and leaves a copy of the certificate in the installer directory.

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17009: Fix s3 ListObjects endpoint with vhost-style requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17009: Test virtual host-style S3 requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Upgrade script/create_superuser_token.rb in the api server codebase to
generate v2 tokens.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Clarify token details for the arv-user-activity tool.

refs #17022

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Update error regexp in test case.

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

fix(docs): broken link

reported on [github](https://github.com/arvados/arvados-formula/issues/3#issuecomment-733019750)

No issue #

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Merge branch '17072-update-cwltool' refs #17072

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17022-user-activity-report' refs #17022

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Update install docs & fix Marc's email.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Now that our k8s helm charts retain state, update the documentation
accordingly.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '16774-keep-web-errors' refs #16774

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix more golint warnings - update crunchrun tests.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'pvanheus-fix_cluster_test' from github.com/pvanheus:fix_cluster_test

No issue #

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Fix hardcoded initial user name and email

Arvados-DCO-1.1-Signed-off-by: Peter Van Heusden <vh@sanbi.ac.za>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17072: Fix for added args on cwltool.docker.get_image

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Increase default submit thread concurrency to 4

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Fix imports.  Use task_queue from cwltool.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Bump cwltool version for unbound 'result' fix

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17150-system-root-token'

closes #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17009: Fix bucket-level ops using virtual host-style requests.

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

fix(test): wrong variable comparison

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(docker): formula upgraded

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17022: Add example usage of keyset_list_all to code cookbook.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Add test cases for keyset_list_all

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Improve output.  Added documentation page.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix salt-install and test scripts

* add checks to find existing resources
* run some shellcheck

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

16774: text/plain response uses crlf.  Tests check error codes.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Documentation cleanups.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Make run-build-packages-python-and-ruby.sh say so when it decides to
skip building Python packages.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17106-s3-fed-token'

fixes #17106

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Add examples to S3 auth instructions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix salt-install's crunch-dispatch-local config and tests

* added [@pvanheus fix]:https://github.com/arvados/arvados/pull/140
* added [a debug parameter to the provision script](https://gitter.im/arvados/community?at=5fb54b4bd37a1a13d6b46a05)
* added a test script to verify the cluster is able to run a CWL workflow
* document salt-install's workflow test

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17106: Fix key unescape: don't convert + to space.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

16774: Fix tests.  Use encoder for xml error response.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Allow use of URL-encoded token as S3 access/secret key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix OS package iteration number in run-build-docker-jobs-image.sh

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Update error checking in run-build-docker-jobs-image.sh

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove now-unneeded code from sdk/cwl/test_with_arvbox.sh, add comment
to clarify that calculate_python_sdk_cwl_package_versions now outputs
python-style package suffixes.

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17154-wb-profile' refs #17154

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17154: Add comment.  Use strings.HasPrefix

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Now that calculate_python_sdk_cwl_package_versions returns python-style
version string suffixes (.dev/rc), make sure the 2 scripts that use that
function are adapted accordingly.

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Move the handle_python_package() function from run-library.sh to
run-build-packages-python-and-ruby.sh, it is only used in the latter.
Update it to call python3 instead of just 'python'.

refs #15888

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16774: Keep-web errors include messages

Errors on the regular keep-web side return plain text responses.

Errors on the S3 side return XML error responses that S3 clients
expect.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Remove one more python2 remnant. This is a fix for the
python3-arvados-cwl-runner package, it now installs /usr/bin/cwltool
again.

refs #15888

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17154: Copy updates on federated users to local cluster

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17154: Make sure most current user record is loaded.

Convert 'option' items (which are symbols) to strings for value comparison

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17015-cds-correct-containers' refs #17015

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Recommend using full tokens for S3 access.

Accept munged ("/" => "_") tokens in S3 requests with V2 signatures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17009-s3-bucket-vhost'

closes #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17009: Mention S3 considerations in keep-web install doc.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17015: Ensure that containers belong to this cluster

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17009: Support accessing S3 with virtual hosted-style URLs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '16950-add-costanalyzer' into master

closes #16950

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'master' into 16950-add-costanalyzer

refs #16950

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: switch to os.UserHomeDir(), and send all output to stderr.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: make specifying of the output directory mandatory (remove
       default).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17022: Fix packaging

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Make this a fully packaged tool.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Python packaging for arv-user-activity

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Specify time period in days on command line.

Also print timestamps in local time zone.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Produce user activity report from the audit logs

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Start work on user activity reporting script

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Update docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Comment on stored_secret behavior.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Improve handling of bare tokens issued by remote clusters.

When caching, use the remote cluster's original token UUID.

When returning the current api_client_authorization record, include
the secret supplied by the caller, even when only storing the HMAC in
the database.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Clean up test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Skip s3cmd test if s3cmd not installed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Test S3 with modified v2 token issued by LoginCluster.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Accept v2 token with / replaced by _ as s3 access/secret key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17012-fix-python-version-calculation' into master

closes #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'master' into 17012-fix-python-version-calculation

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: switch calculate_python_sdk_cwl_package_versions() to use the
       python version calculation code. This effectively is bash calling
       python calling bash, which I don't like, but the code is simpler.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: update calculation of python version number in run-library.sh
       (used by a few docker image scripts).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: remove old gittaggers.py files.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: when calculating the version of our Python packages, take the
       build directory into account.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: refactor caching; use ~/.cache/arvados/costanalyzer for that
       purpose.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: more changes after review.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17111-deselect-unsigned-manifest'

fixes #17111

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17111: Deselect unsigned_manifest_text by default in groups#contents.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: changes after review.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17086-add-focal-fossa' into master

closes #17086

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17086: Merge branch 'master' into 17086-add-focal-fossa

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>