21700: Remove `bundle install` from package build Dockerfiles

This work is better done in the package build script. I suspect the
problem that it's trying to solve is better solved by isolating the
RailsAPI `vendor` directory as done in
0333f33a7413aadb7159563e0a7aa2a0a50acaec.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Standardize on Bundler~>2.4.0

These are the last versions to support Ruby 2.7, which we're still
supporting as I write this.

Our usual install recipe is:

  gem install --conservative --version '~> 2.4.0' bundler

In environments where we *know* we have Ruby 3, that becomes:

  gem install --conservative --version '>= 2.4.0' bundler

As long as we have something at least as recent as 2.4.0, that should be
enough for function. This recipe meets our functional needs while
striking a balance between being easy to implement and avoiding
redundant installs.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Remove RVM support

We haven't reliably tested this in a long time, and it's a lot of code
for no benefit.  In general we want to support the versions of Ruby that
come with the distributions we support. Anybody in a very weird case can
install a supported version of Ruby from source.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Better isolate Bundler from the build source

This helps ensure that when we build the RailsAPI package with Bundler,
we don't accidentally pick up settings or files from the developer's
machine. This shouldn't matter when we build packages on Jenkins but
this makes it easier for developers to test package builds on their own
systems.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21606-keep-web-output-buffer'

closes #21606

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21383-salt-debian12'

Closes #21524, #21583, #21661.
Refs #21383.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21606: Document units for WebDAVOutputBuffer config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21254: Add workaround for Bundler zlib bug

See comments for discussion.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Salt provisioner installs systemd-cron

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Reconfigure Salt logrotate service

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Remove docker-ce version pin

Now that we've removed support for older distros, all the distros we
currently support have the minimum version of docker-ce
available. Meanwhile, that older version is not available for some newer
distros we want to support. Remove the pin accordingly.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Standardize on os-release variables

This script was getting this information three different ways: by
reading /etc/os-release, calling lsb_release, and using its own internal
lookup tables. This is silly. Just read /etc/os-release and use those
variables throughout.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Update Salt installer formulas

I'm not aware of any specific reason we need this, but it's good
maintenance since I'm in here anyway.

letsencrypt 3.0.0 does introduce a backwards incompatible change because
it no longer installs the Apache plugin by default. Since we never
wanted that plugin and always specify the pkgs we want anyway, this
shouldn't affect us.
https://github.com/saltstack-formulas/letsencrypt-formula/blob/master/CHANGELOG.md#300-2021-07-02

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Use postgres formula with support for Debian 12

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21383: Upgrade Salt installer to Salt 3006

Salt 3006 is the first version to support Python 3.11, included with
Debian 12.

Because 3006 is the current stable, we have to update the bootstrap
invocation to match. I guess we'll have to make another change after it
becomes old-stable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21583: Configure Passenger with passenger_preload_bundler

This helps avoid situations where Passenger loads gems that create
a conflict with our bundle. We're currently seeing this with the base64
gem, where Passenger on Ruby 3.[0-3] can load the version shipped with
that Ruby before our RailsAPI bundle gets loaded. This causes an error:

  [ E 2024-03-12 15:12:44.8347 907382/Tf age/Cor/App/Implementation.cpp:221 ]:
  Could not spawn process for application /var/www/arvados-api/current:
  The application encountered the following error: You have already
  activated base64 0.1.1, but your Gemfile requires base64 0.2.0. Since
  base64 is a default gem, you can either remove your dependency on it or
  try updating to a newer version of bundler that supports base64 as a
  default gem. (Gem::LoadError)

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21583: Update link for Phusion Passenger install guide

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21644-flaky-test'

fixes #21644

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21692-go-packages-no-build-id'

Refs #21692. Closes #21694.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21692: Test RPM packages for build id conflicts

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21692: Don't include build id links in Go packages

See comment for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21644: Fix unreliable test.

Test the bucket that doesn't depend on actual test speed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21691-wb2-dependency-upgrades' into main. Closes #21691

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21688-io-panel-style-fixes' into main. Closes #21688

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Update tar to 6.2.1

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Add minor improvements to test reliability

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Add types to replace files methods for differing parameter/result types

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Add type to login method to satisfy result type

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Avoid error by changing method of clearing token

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21691: Update axios to 0.28.1

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21606: Change default output buffer size to 0.

See https://dev.arvados.org/issues/21606#note-8.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21606: Improve code comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21606: Update config comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21606: Add output buffer for webdav downloads.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21657-diag-docker-format'

fixes #21657

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21659-gh-workflow-tests' into main. Closes #21659

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21688: Move json out of tableWrapper and add flexbox stretch to collection tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21654-net-imap-downgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Reverts net-imap to a previous version to keep ruby compatibility.

Bundler upgraded this gem when upgrading rails to 7.0.8.1, making it
incompatible with ruby 2.7.2, but rails doesn't explicitly asks a new
net-imap version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21657: Update docker archive ID introspection code for OCIv2.

Also, when not using the built-in image, we already rely on having
docker tools available, so use `docker inspect` instead of trying to
read the tarball.

This way the introspection code now only needs to work on the built-in
image.  And now there's a test for that.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Reverts nokogiri upgrade to a ruby-2.7 supported version.

Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21313-share-dialog-warning'

closes #21313

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: aligned share button styles with edit button styles Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: removed vestigial saveEnabled prop Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21654-wb2-deps-upgrades'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21639-prefetch' refs #21639

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21313: moved items so that all rows align properly Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: moved data-cy to new button Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: removed underline from permissions select Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21654-protobuf-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-docker-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades ex5-ext to address CVE-2024-27088

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-express-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades ip packages to address CVE-2023-42282.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-follow-redirects-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades github.com/docker/docker to address CVE-2024-24557

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades google.golang.org/protobuf to address CVE-2024-24786

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21313: moved save button to bottom of share dialog Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21654-rails-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades follow-redirects addressing CVE-2024-28849 & CVE-2023-26159

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades express to address CVE-2024-29041

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades rails to 7.0.8.1 to address CVE-2024-26143

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades rack to address several vulnerabilities.

* CVE-2024-26141
* CVE-2024-26146
* CVE-2024-25126

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-go-jose-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades github.com/go-jose/go-jose/v3 to address CVE-2024-28180

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-browserify-sign-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-nokogiri-upgrade'. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades nokogiri to address CVE-2024-25062

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades browserify-sign to address CVE-2023-46234

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Updates yarn.lock to unblock CI. Refs #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21654-deps-updates'. Closes #21654

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Add github test workflow

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21639: Add some additional prefetch tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Don't pass -ti when $ci is defined, no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21651-cmd-card-virtual-list' into main. Closes #21651

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21654: Upgrades @babel/traverse to address CVE-2023-45133

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21651: Remove unused imports and squelch warnings

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Improve formatting and remove warnings

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Update browserdb

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Update io card unit tests for virtual list

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Change io panel json tab to virtual list, fix layout issues

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Create CopyResultToClipboard to format cmd for clipboard using callback

Performs formatting on large text only when clicked

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21651: Add line formatter to VirtualCodeSnippet to do cmd card line processing

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21639: Fix tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21639: Wrap around read counter, have slightly less indirection

Also add a comment about the "every 128 read ops" logic.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21639: Reenable prefetch, but not on every read()

Only do prefetch every 128 invocations of read().

This should dramatically reduce the overhead of computing prefetch
while still getting some or moste of the benefits of prefetching.

Indeed, benchmarking suggests that this prefetching strategy, by
advising the kernel to map blocks into RAM, may actually improve
throughput on the high end.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21651: Add virtual code snippet, implement in cmd card

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21654: Upgrades from babel-core 6 to @babel/core 7.

Still not enough to fix CVE-2023-45133

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21654: Upgrades github.com/satori/go.uuid

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Revert "Merge branch '21583-railsapi-base64-gem'"

This reverts commit ec67d31d1c519c4b1b624f6df0534d27f39f3ed9, reversing
changes made to e792b65d396b15b2c6c90ab2ab70d19c81f98460.

Refs #21583.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21448-menu-reorder'

closes #21448

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21508-io-panel-performance' into main. Closes #21508

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21639-keep-cache-dict' refs #21639

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21639: Add type hint to cachelist

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21313: enabled background click to escape share dialog Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: css tweaks Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21313: added warning and diabled button while saveEnabled Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21583-railsapi-base64-gem'

Refs #21583.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21583: Add test for base64 gem lock

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21639: Have to actually re-add storage classes test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>