services/nodemanager/doc/ec2.example.cfg

   1 # EC2 configuration for Arvados Node Manager.
   2 # All times are in seconds unless specified otherwise.
   3
   4 [Daemon]
   5 # The dispatcher can customize the start and stop procedure for
   6 # cloud nodes.  For example, the SLURM dispatcher drains nodes
   7 # through SLURM before shutting them down.
   8 #dispatcher = slurm
   9
  10 # Node Manager will ensure that there are at least this many nodes running at
  11 # all times.  If node manager needs to start new idle nodes for the purpose of
  12 # satisfying min_nodes, it will use the cheapest node type.  However, depending
  13 # on usage patterns, it may also satisfy min_nodes by keeping alive some
  14 # more-expensive nodes
  15 min_nodes = 0
  16
  17 # Node Manager will not start any compute nodes when at least this
  18 # many are running.
  19 max_nodes = 8
  20
  21 # Upper limit on rate of spending (in $/hr), will not boot additional nodes
  22 # if total price of already running nodes meets or exceeds this threshold.
  23 # default 0 means no limit.
  24 max_total_price = 0
  25
  26 # Poll EC2 nodes and Arvados for new information every N seconds.
  27 poll_time = 60
  28
  29 # Polls have exponential backoff when services fail to respond.
  30 # This is the longest time to wait between polls.
  31 max_poll_time = 300
  32
  33 # If Node Manager can't succesfully poll a service for this long,
  34 # it will never start or stop compute nodes, on the assumption that its
  35 # information is too outdated.
  36 poll_stale_after = 600
  37
  38 # If Node Manager boots a cloud node, and it does not pair with an Arvados
  39 # node before this long, assume that there was a cloud bootstrap failure and
  40 # shut it down.  Note that normal shutdown windows apply (see the Cloud
  41 # section), so this should be shorter than the first shutdown window value.
  42 boot_fail_after = 1800
  43
  44 # "Node stale time" affects two related behaviors.
  45 # 1. If a compute node has been running for at least this long, but it
  46 # isn't paired with an Arvados node, do not shut it down, but leave it alone.
  47 # This prevents the node manager from shutting down a node that might
  48 # actually be doing work, but is having temporary trouble contacting the
  49 # API server.
  50 # 2. When the Node Manager starts a new compute node, it will try to reuse
  51 # an Arvados node that hasn't been updated for this long.
  52 node_stale_after = 14400
  53
  54 # File path for Certificate Authorities
  55 certs_file = /etc/ssl/certs/ca-certificates.crt
  56
  57 [Logging]
  58 # Log file path
  59 file = /var/log/arvados/node-manager.log
  60
  61 # Log level for most Node Manager messages.
  62 # Choose one of DEBUG, INFO, WARNING, ERROR, or CRITICAL.
  63 # WARNING lets you know when polling a service fails.
  64 # INFO additionally lets you know when a compute node is started or stopped.
  65 level = INFO
  66
  67 # You can also set different log levels for specific libraries.
  68 # Pykka is the Node Manager's actor library.
  69 # Setting this to DEBUG will display tracebacks for uncaught
  70 # exceptions in the actors, but it's also very chatty.
  71 pykka = WARNING
  72
  73 # Setting apiclient to INFO will log the URL of every Arvados API request.
  74 apiclient = WARNING
  75
  76 [Arvados]
  77 host = zyxwv.arvadosapi.com
  78 token = ARVADOS_TOKEN
  79 timeout = 15
  80
  81 # Accept an untrusted SSL certificate from the API server?
  82 insecure = no
  83
  84 [Cloud]
  85 provider = ec2
  86
  87 # It's usually most cost-effective to shut down compute nodes during narrow
  88 # windows of time.  For example, EC2 bills each node by the hour, so the best
  89 # time to shut down a node is right before a new hour of uptime starts.
  90 # Shutdown windows define these periods of time.  These are windows in
  91 # full minutes, separated by commas.  Counting from the time the node is
  92 # booted, the node WILL NOT shut down for N1 minutes; then it MAY shut down
  93 # for N2 minutes; then it WILL NOT shut down for N3 minutes; and so on.
  94 # For example, "54, 5, 1" means the node may shut down from the 54th to the
  95 # 59th minute of each hour of uptime.
  96 # Specify at least two windows.  You can add as many as you need beyond that.
  97 shutdown_windows = 54, 5, 1
  98
  99 [Cloud Credentials]
 100 key = KEY
 101 secret = SECRET_KEY
 102 region = us-east-1
 103 timeout = 60
 104
 105 [Cloud List]
 106 # This section defines filters that find compute nodes.
 107 # Tags that you specify here will automatically be added to nodes you create.
 108 # Replace colons in Amazon filters with underscores
 109 # (e.g., write "tag:mytag" as "tag_mytag").
 110 instance-state-name = running
 111 tag_arvados-class = dynamic-compute
 112 tag_cluster = zyxwv
 113
 114 [Cloud Create]
 115 # New compute nodes will send pings to Arvados at this host.
 116 # You may specify a port, and use brackets to disambiguate IPv6 addresses.
 117 ping_host = hostname:port
 118
 119 # Give the name of an SSH key on AWS...
 120 ex_keyname = string
 121
 122 # ... or a file path for an SSH key that can log in to the compute node.
 123 # (One or the other, not both.)
 124 # ssh_key = path
 125
 126 # The EC2 IDs of the image and subnet compute nodes should use.
 127 image_id = idstring
 128 subnet_id = idstring
 129
 130 # Comma-separated EC2 IDs for the security group(s) assigned to each
 131 # compute node.
 132 security_groups = idstring1, idstring2
 133
 134
 135 # You can define any number of Size sections to list EC2 sizes you're
 136 # willing to use.  The Node Manager should boot the cheapest size(s) that
 137 # can run jobs in the queue.
 138 #
 139 # Each size section MUST define the number of cores are available in this
 140 # size class (since libcloud does not provide any consistent API for exposing
 141 # this setting).
 142 # You may also want to define the amount of scratch space (expressed
 143 # in GB) for Crunch jobs.  You can also override Amazon's provided
 144 # data fields (such as price per hour) by setting them here.
 145
 146 [Size m4.large]
 147 cores = 2
 148 price = 0.126
 149 scratch = 100
 150
 151 [Size m4.xlarge]
 152 cores = 4
 153 price = 0.252
 154 scratch = 100