lib/dispatchcloud/node_size.go

   1 // Copyright (C) The Arvados Authors. All rights reserved.
   2 //
   3 // SPDX-License-Identifier: AGPL-3.0
   4
   5 package dispatchcloud
   6
   7 import (
   8         "errors"
   9         "log"
  10         "os/exec"
  11         "strings"
  12         "time"
  13
  14         "git.curoverse.com/arvados.git/sdk/go/arvados"
  15 )
  16
  17 var (
  18         ErrConstraintsNotSatisfiable  = errors.New("constraints not satisfiable by any configured instance type")
  19         ErrInstanceTypesNotConfigured = errors.New("site configuration does not list any instance types")
  20         discountConfiguredRAMPercent  = 5
  21 )
  22
  23 // ChooseInstanceType returns the cheapest available
  24 // arvados.InstanceType big enough to run ctr.
  25 func ChooseInstanceType(cc *arvados.Cluster, ctr *arvados.Container) (best arvados.InstanceType, err error) {
  26         if len(cc.InstanceTypes) == 0 {
  27                 err = ErrInstanceTypesNotConfigured
  28                 return
  29         }
  30
  31         needScratch := int64(0)
  32         for _, m := range ctr.Mounts {
  33                 if m.Kind == "tmp" {
  34                         needScratch += m.Capacity
  35                 }
  36         }
  37
  38         needVCPUs := ctr.RuntimeConstraints.VCPUs
  39
  40         needRAM := ctr.RuntimeConstraints.RAM + ctr.RuntimeConstraints.KeepCacheRAM
  41         needRAM = (needRAM * 100) / int64(100-discountConfiguredRAMPercent)
  42
  43         err = ErrConstraintsNotSatisfiable
  44         for _, it := range cc.InstanceTypes {
  45                 switch {
  46                 case err == nil && it.Price > best.Price:
  47                 case it.Scratch < needScratch:
  48                 case it.RAM < needRAM:
  49                 case it.VCPUs < needVCPUs:
  50                 case it.Price == best.Price && (it.RAM < best.RAM || it.VCPUs < best.VCPUs):
  51                         // Equal price, but worse specs
  52                 default:
  53                         // Lower price || (same price && better specs)
  54                         best = it
  55                         err = nil
  56                 }
  57         }
  58         return
  59 }
  60
  61 // SlurmNodeTypeFeatureKludge ensures SLURM accepts every instance
  62 // type name as a valid feature name, even if no instances of that
  63 // type have appeared yet.
  64 //
  65 // It takes advantage of some SLURM peculiarities:
  66 //
  67 // (1) A feature is valid after it has been offered by a node, even if
  68 // it is no longer offered by any node. So, to make a feature name
  69 // valid, we can add it to a dummy node ("compute0"), then remove it.
  70 //
  71 // (2) To test whether a set of feature names are valid without
  72 // actually submitting a job, we can call srun --test-only with the
  73 // desired features.
  74 //
  75 // SlurmNodeTypeFeatureKludge does a test-and-fix operation
  76 // immediately, and then periodically, in case slurm restarts and
  77 // forgets the list of valid features. It never returns (unless there
  78 // are no node types configured, in which case it returns
  79 // immediately), so it should generally be invoked with "go".
  80 func SlurmNodeTypeFeatureKludge(cc *arvados.Cluster) {
  81         if len(cc.InstanceTypes) == 0 {
  82                 return
  83         }
  84         var features []string
  85         for _, it := range cc.InstanceTypes {
  86                 features = append(features, "instancetype="+it.Name)
  87         }
  88         for {
  89                 slurmKludge(features)
  90                 time.Sleep(2 * time.Second)
  91         }
  92 }
  93
  94 const slurmDummyNode = "compute0"
  95
  96 func slurmKludge(features []string) {
  97         allFeatures := strings.Join(features, ",")
  98
  99         cmd := exec.Command("sinfo", "--nodes="+slurmDummyNode, "--format=%f", "--noheader")
 100         out, err := cmd.CombinedOutput()
 101         if err != nil {
 102                 log.Printf("running %q %q: %s (output was %q)", cmd.Path, cmd.Args, err, out)
 103                 return
 104         }
 105         if string(out) == allFeatures+"\n" {
 106                 // Already configured correctly, nothing to do.
 107                 return
 108         }
 109
 110         log.Printf("configuring node %q with all node type features", slurmDummyNode)
 111         cmd = exec.Command("scontrol", "update", "NodeName="+slurmDummyNode, "Features="+allFeatures)
 112         log.Printf("running: %q %q", cmd.Path, cmd.Args)
 113         out, err = cmd.CombinedOutput()
 114         if err != nil {
 115                 log.Printf("error: scontrol: %s (output was %q)", err, out)
 116         }
 117 }