Now that our k8s helm charts retain state, update the documentation
accordingly.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '16774-keep-web-errors' refs #16774

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix more golint warnings - update crunchrun tests.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'pvanheus-fix_cluster_test' from github.com/pvanheus:fix_cluster_test

No issue #

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Fix hardcoded initial user name and email

Arvados-DCO-1.1-Signed-off-by: Peter Van Heusden <vh@sanbi.ac.za>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17072: Fix for added args on cwltool.docker.get_image

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Increase default submit thread concurrency to 4

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Fix imports.  Use task_queue from cwltool.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17072: Bump cwltool version for unbound 'result' fix

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17150-system-root-token'

closes #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17009: Fix bucket-level ops using virtual host-style requests.

refs #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

fix(test): wrong variable comparison

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

fix(docker): formula upgraded

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17022: Add example usage of keyset_list_all to code cookbook.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Add test cases for keyset_list_all

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Improve output.  Added documentation page.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix salt-install and test scripts

* add checks to find existing resources
* run some shellcheck

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

16774: text/plain response uses crlf.  Tests check error codes.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Documentation cleanups.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Make run-build-packages-python-and-ruby.sh say so when it decides to
skip building Python packages.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17106-s3-fed-token'

fixes #17106

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Add examples to S3 auth instructions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix salt-install's crunch-dispatch-local config and tests

* added [@pvanheus fix]:https://github.com/arvados/arvados/pull/140
* added [a debug parameter to the provision script](https://gitter.im/arvados/community?at=5fb54b4bd37a1a13d6b46a05)
* added a test script to verify the cluster is able to run a CWL workflow
* document salt-install's workflow test

refs #17146, #17147, #17150

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17106: Fix key unescape: don't convert + to space.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

16774: Fix tests.  Use encoder for xml error response.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Allow use of URL-encoded token as S3 access/secret key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix OS package iteration number in run-build-docker-jobs-image.sh

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Update error checking in run-build-docker-jobs-image.sh

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove now-unneeded code from sdk/cwl/test_with_arvbox.sh, add comment
to clarify that calculate_python_sdk_cwl_package_versions now outputs
python-style package suffixes.

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17154-wb-profile' refs #17154

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17154: Add comment.  Use strings.HasPrefix

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Now that calculate_python_sdk_cwl_package_versions returns python-style
version string suffixes (.dev/rc), make sure the 2 scripts that use that
function are adapted accordingly.

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Move the handle_python_package() function from run-library.sh to
run-build-packages-python-and-ruby.sh, it is only used in the latter.
Update it to call python3 instead of just 'python'.

refs #15888

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16774: Keep-web errors include messages

Errors on the regular keep-web side return plain text responses.

Errors on the S3 side return XML error responses that S3 clients
expect.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Remove one more python2 remnant. This is a fix for the
python3-arvados-cwl-runner package, it now installs /usr/bin/cwltool
again.

refs #15888

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17154: Copy updates on federated users to local cluster

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17154: Make sure most current user record is loaded.

Convert 'option' items (which are symbols) to strings for value comparison

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17015-cds-correct-containers' refs #17015

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Recommend using full tokens for S3 access.

Accept munged ("/" => "_") tokens in S3 requests with V2 signatures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17009-s3-bucket-vhost'

closes #17009

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17009: Mention S3 considerations in keep-web install doc.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17015: Ensure that containers belong to this cluster

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17009: Support accessing S3 with virtual hosted-style URLs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '16950-add-costanalyzer' into master

closes #16950

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'master' into 16950-add-costanalyzer

refs #16950

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: switch to os.UserHomeDir(), and send all output to stderr.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: make specifying of the output directory mandatory (remove
       default).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17022: Fix packaging

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Make this a fully packaged tool.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Python packaging for arv-user-activity

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Specify time period in days on command line.

Also print timestamps in local time zone.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Produce user activity report from the audit logs

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17022: Start work on user activity reporting script

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17106: Update docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Comment on stored_secret behavior.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Improve handling of bare tokens issued by remote clusters.

When caching, use the remote cluster's original token UUID.

When returning the current api_client_authorization record, include
the secret supplied by the caller, even when only storing the HMAC in
the database.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Clean up test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Skip s3cmd test if s3cmd not installed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Test S3 with modified v2 token issued by LoginCluster.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17106: Accept v2 token with / replaced by _ as s3 access/secret key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Merge branch '17012-fix-python-version-calculation' into master

closes #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch 'master' into 17012-fix-python-version-calculation

refs #17012

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: switch calculate_python_sdk_cwl_package_versions() to use the
       python version calculation code. This effectively is bash calling
       python calling bash, which I don't like, but the code is simpler.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: update calculation of python version number in run-library.sh
       (used by a few docker image scripts).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: remove old gittaggers.py files.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17012: when calculating the version of our Python packages, take the
       build directory into account.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: refactor caching; use ~/.cache/arvados/costanalyzer for that
       purpose.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: more changes after review.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17111-deselect-unsigned-manifest'

fixes #17111

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

17111: Deselect unsigned_manifest_text by default in groups#contents.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@tomclegg.ca>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: changes after review.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17086-add-focal-fossa' into master

closes #17086

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17086: Merge branch 'master' into 17086-add-focal-fossa

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Fix require path in the 'script/rails' script for api server.

closes #17094

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17086: build packages for Ubuntu 20.04, Focal Fossa.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17090-exclusive-lock' refs #17090

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17090: Migration to refresh_permissions

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17090: Use EXCLUSIVE lock for permission updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: add tests for the costanalyzer.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17040-slow-query' refs #17040

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17040: Update structure.sql

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17040: RefreshTrashedGroups migration, clear_permissions calls forget_cached_group_perms

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17040: Cache results of User.group_permissions

When requesting a list of groups (either directly, or with the
"shared" endpoint) it calls writable_by for each group.  This
indirectly calls User.group_permissions, which makes a database query.
When it does this for every group (with a database query each time),
which gets very expensive.

To address this, this commit caches the result of group_permissions on
the user object.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17040: Get user_uuids and embed them as a constant in the main query

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix more golint warnings.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: add the costanalyzer to arvados-client.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16950: a few cleanups for our container request fixtures: attach a real
       log collection, and define CompletedContainerRequestUUID in
       arvadostest (go).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

16750: Avoids using params on requests to make it compatible with federation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas@di-pentima.com.ar>

Merge branch '17047-centos-remove-rh-python-dependencies' into master

closes #17047
Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

17047: bugfixes, and add an entry to the upgrade notes about the
       packaging change.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>