Merge branch '16347-container-local-keepstore'
authorTom Clegg <tom@curii.com>
Thu, 28 Oct 2021 14:14:09 +0000 (10:14 -0400)
committerTom Clegg <tom@curii.com>
Thu, 28 Oct 2021 14:14:09 +0000 (10:14 -0400)
closes #16347

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

1  2 
doc/admin/upgrading.html.textile.liquid

index 304eedb1dea5f1050f067eec28b99482ecd1da35,170e2c51b3edc2e9850060f6e903295afafb7028..aee2b581b2f0bc607b42cab1cb8e744f11fb66cc
@@@ -35,9 -35,20 +35,20 @@@ TODO: extract this information based o
  <div class="releasenotes">
  </notextile>
  
 -"Upgrading from 2.3.0":#v2_3_0
+ h2(#main). development main (as of 2021-10-27)
++"previous: Upgrading from 2.3.0":#v2_3_0
+ h3. Dedicated keepstore process for each container
+ When Arvados runs a container via @arvados-dispatch-cloud@, the @crunch-run@ supervisor process now brings up its own keepstore server to handle I/O for mounted collections, outputs, and logs. With the default configuration, the keepstore process allocates one 64 MiB block buffer per VCPU requested by the container. For most workloads this will increase throughput, reduce total network traffic, and make it possible to run more containers at once without provisioning additional keepstore nodes to handle the I/O load.
+ * If you have containers that can effectively handle multiple I/O threads per VCPU, consider increasing the @Containers.LocalKeepBlobBuffersPerVCPU@ value.
+ * If you already have a robust permanent keepstore infrastructure, you can set @Containers.LocalKeepBlobBuffersPerVCPU@ to 0 to disable this feature and preserve the previous behavior of sending container I/O traffic to your separately provisioned keepstore servers.
+ * This feature is enabled only if no volumes use @AccessViaHosts@, and no volumes have underlying @Replication@ less than @Collections.DefaultReplication@. If the feature is configured but cannot be enabled due to an incompatible volume configuration, this will be noted in the @crunch-run.txt@ file in the container log.
  h2(#v2_3_0). v2.3.0 (2021-10-27)
  
 -"Upgrading from 2.2.0":#v2_2_0
 +"previous: Upgrading from 2.2.0":#v2_2_0
  
  h3. Ubuntu 18.04 packages for arvados-api-server and arvados-workbench now conflict with ruby-bundler