services/nodemanager/doc/azure.example.cfg

   1 # Azure configuration for Arvados Node Manager.
   2 # All times are in seconds unless specified otherwise.
   3
   4 [Daemon]
   5 # The dispatcher can customize the start and stop procedure for
   6 # cloud nodes.  For example, the SLURM dispatcher drains nodes
   7 # through SLURM before shutting them down.
   8 #dispatcher = slurm
   9
  10 # Node Manager will ensure that there are at least this many nodes
  11 # running at all times.
  12 min_nodes = 0
  13
  14 # Node Manager will not start any compute nodes when at least this
  15 # many are running.
  16 max_nodes = 8
  17
  18 # Poll Azure nodes and Arvados for new information every N seconds.
  19 poll_time = 60
  20
  21 # Polls have exponential backoff when services fail to respond.
  22 # This is the longest time to wait between polls.
  23 max_poll_time = 300
  24
  25 # If Node Manager can't succesfully poll a service for this long,
  26 # it will never start or stop compute nodes, on the assumption that its
  27 # information is too outdated.
  28 poll_stale_after = 600
  29
  30 # If Node Manager boots a cloud node, and it does not pair with an Arvados
  31 # node before this long, assume that there was a cloud bootstrap failure and
  32 # shut it down.  Note that normal shutdown windows apply (see the Cloud
  33 # section), so this should be shorter than the first shutdown window value.
  34 boot_fail_after = 1800
  35
  36 # "Node stale time" affects two related behaviors.
  37 # 1. If a compute node has been running for at least this long, but it
  38 # isn't paired with an Arvados node, do not shut it down, but leave it alone.
  39 # This prevents the node manager from shutting down a node that might
  40 # actually be doing work, but is having temporary trouble contacting the
  41 # API server.
  42 # 2. When the Node Manager starts a new compute node, it will try to reuse
  43 # an Arvados node that hasn't been updated for this long.
  44 node_stale_after = 14400
  45
  46 # File path for Certificate Authorities
  47 certs_file = /etc/ssl/certs/ca-certificates.crt
  48
  49 [Logging]
  50 # Log file path
  51 file = /var/log/arvados/node-manager.log
  52
  53 # Log level for most Node Manager messages.
  54 # Choose one of DEBUG, INFO, WARNING, ERROR, or CRITICAL.
  55 # WARNING lets you know when polling a service fails.
  56 # INFO additionally lets you know when a compute node is started or stopped.
  57 level = INFO
  58
  59 # You can also set different log levels for specific libraries.
  60 # Pykka is the Node Manager's actor library.
  61 # Setting this to DEBUG will display tracebacks for uncaught
  62 # exceptions in the actors, but it's also very chatty.
  63 pykka = WARNING
  64
  65 # Setting apiclient to INFO will log the URL of every Arvados API request.
  66 apiclient = WARNING
  67
  68 [Arvados]
  69 host = zyxwv.arvadosapi.com
  70 token = ARVADOS_TOKEN
  71 timeout = 15
  72
  73 # Accept an untrusted SSL certificate from the API server?
  74 insecure = no
  75
  76 [Cloud]
  77 provider = azure
  78
  79 # Shutdown windows define periods of time when a node may and may not be shut
  80 # down.  These are windows in full minutes, separated by commas.  Counting from
  81 # the time the node is booted, the node WILL NOT shut down for N1 minutes; then
  82 # it MAY shut down for N2 minutes; then it WILL NOT shut down for N3 minutes;
  83 # and so on.  For example, "20, 999999" means the node may shut down between
  84 # the 20th and 999999th minutes of uptime.
  85 # Azure bills by the minute, so it makes sense to agressively shut down idle
  86 # nodes.  Specify at least two windows.  You can add as many as you need beyond
  87 # that.
  88 shutdown_windows = 20, 999999
  89
  90 [Cloud Credentials]
  91 # Use "azure account list" with the azure CLI to get these values.
  92 tenant_id = 00000000-0000-0000-0000-000000000000
  93 subscription_id = 00000000-0000-0000-0000-000000000000
  94
  95 # The following directions are based on
  96 # https://azure.microsoft.com/en-us/documentation/articles/resource-group-authenticate-service-principal/
  97 #
  98 # azure ad app create --name "<Your Application Display Name>" --home-page "<https://YourApplicationHomePage>" --identifier-uris "<https://YouApplicationUri>" --password <Your_Password>
  99 # azure ad sp create "<Application_Id>"
 100 # azure role assignment create --objectId "<Object_Id>" -o Owner -c /subscriptions/{subscriptionId}/
 101 #
 102 # Use <Application_Id> for "key" and the <Your_Password> for "secret"
 103 #
 104 key = 00000000-0000-0000-0000-000000000000
 105 secret = PASSWORD
 106 timeout = 60
 107 region = East US
 108
 109 [Cloud List]
 110 # The resource group in which the compute node virtual machines will be created
 111 # and listed.
 112 ex_resource_group = ArvadosResourceGroup
 113
 114 [Cloud Create]
 115 # The image id, in the form "Publisher:Offer:SKU:Version"
 116 image = Canonical:UbuntuServer:14.04.3-LTS:14.04.201508050
 117
 118 # Path to a local ssh key file that will be used to provision new nodes.
 119 ssh_key = /home/arvadosuser/.ssh/id_rsa.pub
 120
 121 # The account name for the admin user that will be provisioned on new nodes.
 122 ex_user_name = arvadosuser
 123
 124 # The Azure storage account that will be used to store the node OS disk images.
 125 ex_storage_account = arvadosstorage
 126
 127 # The virtual network the VMs will be associated with.
 128 ex_network = ArvadosNetwork
 129
 130 # Optional subnet of the virtual network.
 131 #ex_subnet = default
 132
 133 # Node tags
 134 tag_arvados-class = dynamic-compute
 135 tag_cluster = zyxwv
 136
 137 # the API server to ping
 138 ping_host = hostname:port
 139
 140 [Size Standard_D3]
 141 # You can define any number of Size sections to list Azure sizes you're
 142 # willing to use.  The Node Manager should boot the cheapest size(s) that
 143 # can run jobs in the queue (N.B.: defining more than one size has not been
 144 # tested yet).
 145 # Each size section MUST define the number of cores are available in this
 146 # size class (since libcloud does not provide any consistent API for exposing
 147 # this setting).
 148 # You may also want to define the amount of scratch space (expressed
 149 # in GB) for Crunch jobs.  You can also override Microsoft's provided
 150 # data fields by setting the same names here.
 151 cores = 4
 152 scratch = 200