services/nodemanager/doc/gce.example.cfg

   1 # Copyright (C) The Arvados Authors. All rights reserved.
   2 #
   3 # SPDX-License-Identifier: AGPL-3.0
   4
   5 # Google Compute Engine configuration for Arvados Node Manager.
   6 # All times are in seconds unless specified otherwise.
   7
   8 [Manage]
   9 # The management server responds to http://addr:port/status.json with
  10 # a snapshot of internal state.
  11
  12 # Management server listening address (default 127.0.0.1)
  13 #address = 0.0.0.0
  14
  15 # Management server port number (default -1, server is disabled)
  16 #port = 8989
  17
  18 [Daemon]
  19 # Node Manager will ensure that there are at least this many nodes running at
  20 # all times.  If node manager needs to start new idle nodes for the purpose of
  21 # satisfying min_nodes, it will use the cheapest node type.  However, depending
  22 # on usage patterns, it may also satisfy min_nodes by keeping alive some
  23 # more-expensive nodes
  24 min_nodes = 0
  25
  26 # Node Manager will not start any compute nodes when at least this
  27 # running at all times.  By default, these will be the cheapest node size.
  28 max_nodes = 8
  29
  30 # Poll compute nodes and Arvados for new information every N seconds.
  31 poll_time = 60
  32
  33 # Upper limit on rate of spending (in $/hr), will not boot additional nodes
  34 # if total price of already running nodes meets or exceeds this threshold.
  35 # default 0 means no limit.
  36 max_total_price = 0
  37
  38 # Polls have exponential backoff when services fail to respond.
  39 # This is the longest time to wait between polls.
  40 max_poll_time = 300
  41
  42 # If Node Manager can't succesfully poll a service for this long,
  43 # it will never start or stop compute nodes, on the assumption that its
  44 # information is too outdated.
  45 poll_stale_after = 600
  46
  47 # "Node stale time" affects two related behaviors.
  48 # 1. If a compute node has been running for at least this long, but it
  49 # isn't paired with an Arvados node, do not shut it down, but leave it alone.
  50 # This prevents the node manager from shutting down a node that might
  51 # actually be doing work, but is having temporary trouble contacting the
  52 # API server.
  53 # 2. When the Node Manager starts a new compute node, it will try to reuse
  54 # an Arvados node that hasn't been updated for this long.
  55 node_stale_after = 14400
  56
  57 # Number of consecutive times a node must report as "idle" before it
  58 # will be considered eligible for shutdown.  Node status is checked
  59 # each poll period, and node can go idle at any point during a poll
  60 # period (meaning a node could be reported as idle that has only been
  61 # idle for 1 second).  With a 60 second poll period, three consecutive
  62 # status updates of "idle" suggests the node has been idle at least
  63 # 121 seconds.
  64 consecutive_idle_count = 3
  65
  66 # Scaling factor to be applied to nodes' available RAM size. Usually there's a
  67 # variable discrepancy between the advertised RAM value on cloud nodes and the
  68 # actual amount available.
  69 # If not set, this value will be set to 0.95
  70 node_mem_scaling = 0.95
  71
  72 # File path for Certificate Authorities
  73 certs_file = /etc/ssl/certs/ca-certificates.crt
  74
  75 [Logging]
  76 # Log file path
  77 file = /var/log/arvados/node-manager.log
  78
  79 # Log level for most Node Manager messages.
  80 # Choose one of DEBUG, INFO, WARNING, ERROR, or CRITICAL.
  81 # WARNING lets you know when polling a service fails.
  82 # INFO additionally lets you know when a compute node is started or stopped.
  83 level = INFO
  84
  85 # You can also set different log levels for specific libraries.
  86 # Pykka is the Node Manager's actor library.
  87 # Setting this to DEBUG will display tracebacks for uncaught
  88 # exceptions in the actors, but it's also very chatty.
  89 pykka = WARNING
  90
  91 # Setting apiclient to INFO will log the URL of every Arvados API request.
  92 apiclient = WARNING
  93
  94 [Arvados]
  95 host = zyxwv.arvadosapi.com
  96 token = ARVADOS_TOKEN
  97 timeout = 15
  98 jobs_queue = yes   # Get work request from Arvados jobs queue (jobs API)
  99 slurm_queue = yes  # Get work request from squeue (containers API)
 100
 101 # Accept an untrusted SSL certificate from the API server?
 102 insecure = no
 103
 104 [Cloud]
 105 provider = gce
 106
 107 # Shutdown windows define periods of time when a node may and may not
 108 # be shut down.  These are windows in full minutes, separated by
 109 # commas.  Counting from the time the node is booted, the node WILL
 110 # NOT shut down for N1 minutes; then it MAY shut down for N2 minutes;
 111 # then it WILL NOT shut down for N3 minutes; and so on.  For example,
 112 # "54, 5, 1" means the node may shut down from the 54th to the 59th
 113 # minute of each hour of uptime.
 114 # GCE bills by the minute, and does not provide information about when
 115 # a node booted.  Node Manager will store this information in metadata
 116 # when it boots a node; if that information is not available, it will
 117 # assume the node booted at the epoch.  These shutdown settings are
 118 # very aggressive.  You may want to adjust this if you want more
 119 # continuity of service from a single node.
 120 shutdown_windows = 20, 999999
 121
 122 [Cloud Credentials]
 123 user_id = client_email_address@developer.gserviceaccount.com
 124 key = path_to_certificate.pem
 125 project = project-id-from-google-cloud-dashboard
 126 timeout = 60
 127
 128 # Valid location (zone) names: https://cloud.google.com/compute/docs/zones
 129 datacenter = us-central1-a
 130
 131 # Optional settings. For full documentation see
 132 # http://libcloud.readthedocs.org/en/latest/compute/drivers/gce.html#libcloud.compute.drivers.gce.GCENodeDriver
 133 #
 134 # auth_type = SA               # SA, IA or GCE
 135 # scopes = https://www.googleapis.com/auth/compute
 136 # credential_file =
 137
 138 [Cloud List]
 139 # A comma-separated list of tags that must be applied to a node for it to
 140 # be considered a compute node.
 141 # The driver will automatically apply these tags to nodes it creates.
 142 tags = zyxwv, compute
 143
 144 [Cloud Create]
 145 # New compute nodes will send pings to Arvados at this host.
 146 # You may specify a port, and use brackets to disambiguate IPv6 addresses.
 147 ping_host = hostname:port
 148
 149 # A file path for an SSH key that can log in to the compute node.
 150 # ssh_key = path
 151
 152 # The GCE image name and network zone name to use when creating new nodes.
 153 image = debian-7
 154 # network = your_network_name
 155
 156 # JSON string of service account authorizations for this cluster.
 157 # See http://libcloud.readthedocs.org/en/latest/compute/drivers/gce.html#specifying-service-account-scopes
 158 # service_accounts = [{'email':'account@example.com', 'scopes':['storage-ro']}]
 159
 160
 161 # You can define any number of Size sections to list node sizes you're
 162 # willing to use.  The Node Manager should boot the cheapest size(s) that
 163 # can run jobs in the queue.
 164 #
 165 # The Size fields are interpreted the same way as with a libcloud NodeSize:
 166 # http://libcloud.readthedocs.org/en/latest/compute/api.html#libcloud.compute.base.NodeSize
 167 #
 168 # See https://cloud.google.com/compute/docs/machine-types for a list
 169 # of known machine types that may be used as a Size parameter.
 170 #
 171 # Each size section MUST define the number of cores are available in this
 172 # size class (since libcloud does not provide any consistent API for exposing
 173 # this setting).
 174 # You may also want to define the amount of scratch space (expressed
 175 # in GB) for Crunch jobs.
 176 # You can also override Google's provided data fields (such as price per hour)
 177 # by setting them here.
 178
 179 [Size n1-standard-2]
 180 cores = 2
 181 price = 0.076
 182 scratch = 100
 183
 184 [Size n1-standard-4]
 185 cores = 4
 186 price = 0.152
 187 scratch = 200