16616: incorporate review comments.
authorWard Vandewege <ward@curii.com>
Wed, 29 Jul 2020 13:58:25 +0000 (09:58 -0400)
committerWard Vandewege <ward@curii.com>
Wed, 29 Jul 2020 14:00:07 +0000 (10:00 -0400)
Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

doc/install/crunch2-cloud/install-compute-node.html.textile.liquid
doc/install/crunch2-cloud/install-dispatch-cloud.html.textile.liquid
doc/install/crunch2-slurm/install-compute-node.html.textile.liquid
lib/dispatchcloud/worker/worker.go
tools/compute-images/arvados-images-aws.json
tools/compute-images/arvados-images-azure.json
tools/compute-images/scripts/base.sh
tools/compute-images/scripts/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg [moved from tools/compute-images/scripts/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg with 100% similarity]

index 4659ccb1e0f9ff895276e18cc2859c6dce6b04b9..23da428b395a994729ab02e5dcacb6cb1e3f3d2f 100644 (file)
@@ -10,7 +10,7 @@ SPDX-License-Identifier: CC-BY-SA-3.0
 {% endcomment %}
 
 {% include 'notebox_begin_warning' %}
-arvados-dispatch-cloud is only relevant for cloud installations. Skip this section if you are installing a on premises cluster that will spool jobs to Slurm.
+arvados-dispatch-cloud is only relevant for cloud installations. Skip this section if you are installing an on premises cluster that will spool jobs to Slurm.
 {% include 'notebox_end' %}
 
 # "Introduction":#introduction
@@ -21,7 +21,7 @@ arvados-dispatch-cloud is only relevant for cloud installations. Skip this secti
 
 h2(#introduction). Introduction
 
-This page describes how to build a compute node image that it can be used to run containers dispatched by Arvados in the cloud.
+This page describes how to build a compute node image that can be used to run containers dispatched by Arvados in the cloud.
 
 Packer templates for AWS and Azure are provided with Arvados. To use them, the following are needed:
 
@@ -30,11 +30,11 @@ Packer templates for AWS and Azure are provided with Arvados. To use them, the f
 * configuration details for your cloud account
 
 
-h2(#sshkeypair). Create an SSH keypair
+h2(#sshkeypair). Create a SSH keypair
 
-@arvados-dispatch-cloud@ communicates with the compute nodes via SSH. To do this securely, an SSH keypair is needed.
+@arvados-dispatch-cloud@ communicates with the compute nodes via SSH. To do this securely, a SSH keypair is needed.
 
-Generate an SSH keypair with no passphrase. The private key needs to be stored in the cluster configuration file (see @Containers/DispatchPrivateKey@) for use by @arvados-dispatch-cloud@, as described in the "next section":install-dispatch-cloud.html#update-config. The public key will be baked into the compute node images, see the cloud-specific documentation below.
+Generate a SSH keypair with no passphrase. The private key needs to be stored in the cluster configuration file (see @Containers/DispatchPrivateKey@) for use by @arvados-dispatch-cloud@, as described in the "next section":install-dispatch-cloud.html#update-config. The public key will be baked into the compute node images, see the cloud-specific documentation below.
 
 <notextile>
 <pre><code>~$ <span class="userinput">ssh-keygen -N '' -f ~/.ssh/id_dispatcher</span>
@@ -170,7 +170,7 @@ h2(#aws). Build an AWS image
 
 For @ClusterID@, fill in your cluster ID. The @VPC@ and @Subnet@ should be configured for where you want the compute image to be generated and stored. The @AMI@ is the identifier for the base image to be used. Current AMIs are maintained by "Debian":https://wiki.debian.org/Cloud/AmazonEC2Image/Buster and "Ubuntu":https://cloud-images.ubuntu.com/locator/ec2/.
 
-@AWSProfile@ should be replaced name of an AWS profile with sufficient permissions to create the image.
+@AWSProfile@ should be replaced with the name of an AWS profile with sufficient permissions to create the image.
 
 @ArvadosDispatchCloudPublicKeyPath@ should be replaced with the path to the ssh *public* key file generated in "Create an SSH keypair":#sshkeypair, above.
 
index 3d6352ccb7e9a603fe5add1541e369df19d9561e..c858f32032dd90bcb73b63fcc7eef33086d5366f 100644 (file)
@@ -10,7 +10,7 @@ SPDX-License-Identifier: CC-BY-SA-3.0
 {% endcomment %}
 
 {% include 'notebox_begin_warning' %}
-arvados-dispatch-cloud is only relevant for cloud installations. Skip this section if you are installing a on premises cluster that will spool jobs to Slurm.
+arvados-dispatch-cloud is only relevant for cloud installations. Skip this section if you are installing an on premises cluster that will spool jobs to Slurm.
 {% include 'notebox_end' %}
 
 # "Introduction":#introduction
index f25d1f0a39c30e382eb8c583c9fbfc0261f976de..8c01c44ed3491b71b5401aab8976dab3a7e4e7af 100644 (file)
@@ -24,7 +24,7 @@ crunch-dispatch-slurm is only relevant for on premises clusters that will spool
 
 h2(#introduction). Introduction
 
-This page describes how to configure a compute node so that it can be used to run containers dispatched by Arvados, with Slurm on a static cluster. These steps must be duplicated on every compute node.
+This page describes how to configure a compute node so that it can be used to run containers dispatched by Arvados, with Slurm on a static cluster. These steps must be performed on every compute node.
 
 h2(#docker). Set up Docker
 
index 357ac20a038d56ca7a4778c6df38f05f2e2dae08..9e8cf51ee6d602abd40bda665209e9951aa3bf36 100644 (file)
@@ -224,6 +224,7 @@ func (wkr *worker) probeAndUpdate() {
        defer wkr.mtx.Unlock()
        if reportedBroken && wkr.idleBehavior == IdleBehaviorRun {
                logger.Info("probe reported broken instance")
+    // FIXME add prometheus tick
                wkr.setIdleBehavior(IdleBehaviorDrain)
        }
        if !ok || (!booted && len(ctrUUIDs) == 0 && len(wkr.running) == 0) {
index 4832208e4148381df7415063dde8a50cba1111e2..b83207bd28286ccceac19190c985124c9b635029 100644 (file)
@@ -61,8 +61,8 @@
     "destination": "/tmp/1078ECD7.asc"
   },{
     "type": "file",
-    "source": "scripts/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg",
-    "destination": "/tmp/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg"
+    "source": "scripts/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg",
+    "destination": "/tmp/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg"
   },{
     "type": "file",
     "source": "scripts/usr-local-bin-ensure-encrypted-partitions.sh",
index 3a80f9c12cb939ab781a2912c8896d7e4027fd3d..f7fc1a07b401aba074f954044e2bde6ae88ef258 100644 (file)
@@ -56,8 +56,8 @@
     "destination": "/tmp/1078ECD7.asc"
   },{
     "type": "file",
-    "source": "scripts/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg",
-    "destination": "/tmp/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg"
+    "source": "scripts/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg",
+    "destination": "/tmp/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg"
   },{
     "type": "file",
     "source": "scripts/usr-local-bin-ensure-encrypted-partitions.sh",
index 4b134b9dbe77b851b267c602bf5c14b1974834c3..73c7b9dac05d73144a668d1d5b7c8e538ffcc1af 100644 (file)
@@ -106,5 +106,5 @@ $SUDO sed -i "s/#prepend domain-name-servers 127.0.0.1;/prepend domain-name-serv
 $SUDO mv /tmp/usr-local-bin-ensure-encrypted-partitions.sh /usr/local/bin/ensure-encrypted-partitions.sh
 $SUDO chmod 755 /usr/local/bin/ensure-encrypted-partitions.sh
 $SUDO chown root:root /usr/local/bin/ensure-encrypted-partitions.sh
-$SUDO mv /tmp/etc-cloud-cloud.cfg.d-07_compute_puppetless_arvados_dispatch_cloud.cfg /etc/cloud/cloud.cfg.d/07_compute_puppetless_arvados_dispatch_cloud.cfg
-$SUDO chown root:root /etc/cloud/cloud.cfg.d/07_compute_puppetless_arvados_dispatch_cloud.cfg
+$SUDO mv /tmp/etc-cloud-cloud.cfg.d-07_compute_arvados_dispatch_cloud.cfg /etc/cloud/cloud.cfg.d/07_compute_arvados_dispatch_cloud.cfg
+$SUDO chown root:root /etc/cloud/cloud.cfg.d/07_compute_arvados_dispatch_cloud.cfg