services/nodemanager/doc/ec2.example.cfg

   1 # EC2 configuration for Arvados Node Manager.
   2 # All times are in seconds unless specified otherwise.
   3
   4 [Daemon]
   5 # Node Manager will not start any compute nodes when at least this
   6 # many are running.
   7 max_nodes = 8
   8
   9 # Poll EC2 nodes and Arvados for new information every N seconds.
  10 poll_time = 60
  11
  12 # Polls have exponential backoff when services fail to respond.
  13 # This is the longest time to wait between polls.
  14 max_poll_time = 300
  15
  16 # If Node Manager can't succesfully poll a service for this long,
  17 # it will never start or stop compute nodes, on the assumption that its
  18 # information is too outdated.
  19 poll_stale_after = 600
  20
  21 # "Node stale time" affects two related behaviors.
  22 # 1. If a compute node has been running for at least this long, but it
  23 # isn't paired with an Arvados node, do not shut it down, but leave it alone.
  24 # This prevents the node manager from shutting down a node that might
  25 # actually be doing work, but is having temporary trouble contacting the
  26 # API server.
  27 # 2. When the Node Manager starts a new compute node, it will try to reuse
  28 # an Arvados node that hasn't been updated for this long.
  29 node_stale_after = 14400
  30
  31 # File path for Certificate Authorities
  32 certs_file = /etc/ssl/certs/ca-certificates.crt
  33
  34 [Logging]
  35 # Log file path
  36 file = /var/log/arvados/node-manager.log
  37
  38 # Log level for most Node Manager messages.
  39 # Choose one of DEBUG, INFO, WARNING, ERROR, or CRITICAL.
  40 # WARNING lets you know when polling a service fails.
  41 # INFO additionally lets you know when a compute node is started or stopped.
  42 level = INFO
  43
  44 # You can also set different log levels for specific libraries.
  45 # Pykka is the Node Manager's actor library.
  46 # Setting this to DEBUG will display tracebacks for uncaught
  47 # exceptions in the actors, but it's also very chatty.
  48 pykka = WARNING
  49
  50 # Setting apiclient to INFO will log the URL of every Arvados API request.
  51 apiclient = WARNING
  52
  53 [Arvados]
  54 host = zyxwv.arvadosapi.com
  55 token = ARVADOS_TOKEN
  56 timeout = 15
  57
  58 # Accept an untrusted SSL certificate from the API server?
  59 insecure = no
  60
  61 [Cloud]
  62 provider = ec2
  63
  64 # It's usually most cost-effective to shut down compute nodes during narrow
  65 # windows of time.  For example, EC2 bills each node by the hour, so the best
  66 # time to shut down a node is right before a new hour of uptime starts.
  67 # Shutdown windows define these periods of time.  These are windows in
  68 # full minutes, separated by commas.  Counting from the time the node is
  69 # booted, the node WILL NOT shut down for N1 minutes; then it MAY shut down
  70 # for N2 minutes; then it WILL NOT shut down for N3 minutes; and so on.
  71 # For example, "54, 5, 1" means the node may shut down from the 54th to the
  72 # 59th minute of each hour of uptime.
  73 # Specify at least two windows.  You can add as many as you need beyond that.
  74 shutdown_windows = 54, 5, 1
  75
  76 [Cloud Credentials]
  77 key = KEY
  78 secret = SECRET_KEY
  79 region = us-east-1
  80 timeout = 60
  81
  82 [Cloud List]
  83 # This section defines filters that find compute nodes.
  84 # Tags that you specify here will automatically be added to nodes you create.
  85 # Replace colons in Amazon filters with underscores
  86 # (e.g., write "tag:mytag" as "tag_mytag").
  87 instance-state-name = running
  88 tag_arvados-class = dynamic-compute
  89 tag_cluster = zyxwv
  90
  91 [Cloud Create]
  92 # New compute nodes will send pings to Arvados at this host.
  93 # You may specify a port, and use brackets to disambiguate IPv6 addresses.
  94 ping_host = hostname:port
  95
  96 # Give the name of an SSH key on AWS...
  97 ex_keyname = string
  98
  99 # ... or a file path for an SSH key that can log in to the compute node.
 100 # (One or the other, not both.)
 101 # ssh_key = path
 102
 103 # The EC2 IDs of the image and subnet compute nodes should use.
 104 image_id = idstring
 105 subnet_id = idstring
 106
 107 # Comma-separated EC2 IDs for the security group(s) assigned to each
 108 # compute node.
 109 security_groups = idstring1, idstring2
 110
 111 [Size t2.medium]
 112 # You can define any number of Size sections to list EC2 sizes you're
 113 # willing to use.  The Node Manager should boot the cheapest size(s) that
 114 # can run jobs in the queue (N.B.: defining more than one size has not been
 115 # tested yet).
 116 # Each size section MUST define the number of cores it has.  You may also
 117 # want to define the number of mebibytes of scratch space for Crunch jobs.
 118 # You can also override Amazon's provided data fields by setting the same
 119 # names here.
 120 cores = 2
 121 scratch = 100