services/nodemanager/tests/fake_azure.cfg.template

   1 # Copyright (C) The Arvados Authors. All rights reserved.
   2 #
   3 # SPDX-License-Identifier: AGPL-3.0
   4
   5 # Azure configuration for Arvados Node Manager.
   6 # All times are in seconds unless specified otherwise.
   7
   8 [Manage]
   9 # The management server responds to http://addr:port/status.json with
  10 # a snapshot of internal state.
  11
  12 # Management server listening address (default 127.0.0.1)
  13 address = 0.0.0.0
  14
  15 # Management server port number (default -1, server is disabled)
  16 port = 8989
  17
  18 MangementToken = xxx
  19
  20 [Daemon]
  21 # The dispatcher can customize the start and stop procedure for
  22 # cloud nodes.  For example, the SLURM dispatcher drains nodes
  23 # through SLURM before shutting them down.
  24 #dispatcher = slurm
  25
  26 # Node Manager will ensure that there are at least this many nodes running at
  27 # all times.  If node manager needs to start new idle nodes for the purpose of
  28 # satisfying min_nodes, it will use the cheapest node type.  However, depending
  29 # on usage patterns, it may also satisfy min_nodes by keeping alive some
  30 # more-expensive nodes
  31 min_nodes = 0
  32
  33 # Node Manager will not start any compute nodes when at least this
  34 # many are running.
  35 max_nodes = 8
  36
  37 # Upper limit on rate of spending (in $/hr), will not boot additional nodes
  38 # if total price of already running nodes meets or exceeds this threshold.
  39 # default 0 means no limit.
  40 max_total_price = 0
  41
  42 # Poll Azure nodes and Arvados for new information every N seconds.
  43 poll_time = 0.5
  44
  45 # Polls have exponential backoff when services fail to respond.
  46 # This is the longest time to wait between polls.
  47 max_poll_time = 1
  48
  49 # If Node Manager can't succesfully poll a service for this long,
  50 # it will never start or stop compute nodes, on the assumption that its
  51 # information is too outdated.
  52 poll_stale_after = 1
  53
  54 # If Node Manager boots a cloud node, and it does not pair with an Arvados
  55 # node before this long, assume that there was a cloud bootstrap failure and
  56 # shut it down.  Note that normal shutdown windows apply (see the Cloud
  57 # section), so this should be shorter than the first shutdown window value.
  58 boot_fail_after = 45
  59
  60 # "Node stale time" affects two related behaviors.
  61 # 1. If a compute node has been running for at least this long, but it
  62 # isn't paired with an Arvados node, do not shut it down, but leave it alone.
  63 # This prevents the node manager from shutting down a node that might
  64 # actually be doing work, but is having temporary trouble contacting the
  65 # API server.
  66 # 2. When the Node Manager starts a new compute node, it will try to reuse
  67 # an Arvados node that hasn't been updated for this long.
  68 node_stale_after = 14400
  69
  70 # Scaling factor to be applied to nodes' available RAM size. Usually there's a
  71 # variable discrepancy between the advertised RAM value on cloud nodes and the
  72 # actual amount available.
  73 # If not set, this value will be set to 0.95
  74 node_mem_scaling = 0.95
  75
  76 # File path for Certificate Authorities
  77 certs_file = /etc/ssl/certs/ca-certificates.crt
  78
  79 [Logging]
  80 # Log file path
  81 #file = node-manager.log
  82
  83 # Log level for most Node Manager messages.
  84 # Choose one of DEBUG, INFO, WARNING, ERROR, or CRITICAL.
  85 # WARNING lets you know when polling a service fails.
  86 # INFO additionally lets you know when a compute node is started or stopped.
  87 level = DEBUG
  88
  89 # You can also set different log levels for specific libraries.
  90 # Pykka is the Node Manager's actor library.
  91 # Setting this to DEBUG will display tracebacks for uncaught
  92 # exceptions in the actors, but it's also very chatty.
  93 pykka = WARNING
  94
  95 # Setting apiclient to INFO will log the URL of every Arvados API request.
  96 apiclient = WARNING
  97
  98 [Arvados]
  99 host = {host}
 100 token = {token}
 101 timeout = 15
 102 jobs_queue = no
 103
 104 # Accept an untrusted SSL certificate from the API server?
 105 insecure = yes
 106
 107 [Cloud]
 108 provider = azure
 109 driver_class = {driver_class}
 110
 111 # Shutdown windows define periods of time when a node may and may not be shut
 112 # down.  These are windows in full minutes, separated by commas.  Counting from
 113 # the time the node is booted, the node WILL NOT shut down for N1 minutes; then
 114 # it MAY shut down for N2 minutes; then it WILL NOT shut down for N3 minutes;
 115 # and so on.  For example, "20, 999999" means the node may shut down between
 116 # the 20th and 999999th minutes of uptime.
 117 # Azure bills by the minute, so it makes sense to agressively shut down idle
 118 # nodes.  Specify at least two windows.  You can add as many as you need beyond
 119 # that.
 120 shutdown_windows = 0.05, 999999
 121
 122 [Cloud Credentials]
 123 # Use "azure account list" with the azure CLI to get these values.
 124 tenant_id = 00000000-0000-0000-0000-000000000000
 125 subscription_id = 00000000-0000-0000-0000-000000000000
 126
 127 # The following directions are based on
 128 # https://azure.microsoft.com/en-us/documentation/articles/resource-group-authenticate-service-principal/
 129 #
 130 # azure config mode arm
 131 # azure ad app create --name "<Your Application Display Name>" --home-page "<https://YourApplicationHomePage>" --identifier-uris "<https://YouApplicationUri>" --password <Your_Password>
 132 # azure ad sp create "<Application_Id>"
 133 # azure role assignment create --objectId "<Object_Id>" -o Owner -c /subscriptions/<subscriptionId>/
 134 #
 135 # Use <Application_Id> for "key" and the <Your_Password> for "secret"
 136 #
 137 key = 00000000-0000-0000-0000-000000000000
 138 secret = PASSWORD
 139 timeout = 60
 140 region = East US
 141
 142 [Cloud List]
 143 # The resource group in which the compute node virtual machines will be created
 144 # and listed.
 145 ex_resource_group = ArvadosResourceGroup
 146
 147 [Cloud Create]
 148 # The image id, in the form "Publisher:Offer:SKU:Version"
 149 image = Canonical:UbuntuServer:14.04.3-LTS:14.04.201508050
 150
 151 # Path to a local ssh key file that will be used to provision new nodes.
 152 ssh_key = {ssh_key}
 153
 154 # The account name for the admin user that will be provisioned on new nodes.
 155 ex_user_name = arvadosuser
 156
 157 # The Azure storage account that will be used to store the node OS disk images.
 158 ex_storage_account = arvadosstorage
 159
 160 # The virtual network the VMs will be associated with.
 161 ex_network = ArvadosNetwork
 162
 163 # Optional subnet of the virtual network.
 164 #ex_subnet = default
 165
 166 # Node tags
 167 tag_arvados-class = dynamic-compute
 168 tag_cluster = zyxwv
 169
 170 # the API server to ping
 171 ping_host = {host}
 172
 173 # You can define any number of Size sections to list Azure sizes you're willing
 174 # to use.  The Node Manager should boot the cheapest size(s) that can run jobs
 175 # in the queue.  You must also provide price per hour as the Azure driver
 176 # compute currently does not report prices.
 177 #
 178 # See https://azure.microsoft.com/en-us/pricing/details/virtual-machines/
 179 # for a list of known machine types that may be used as a Size parameter.
 180 #
 181 # Each size section MUST define the number of cores are available in this
 182 # size class (since libcloud does not provide any consistent API for exposing
 183 # this setting).
 184 # You may also want to define the amount of scratch space (expressed
 185 # in GB) for Crunch jobs.  You can also override Microsoft's provided
 186 # data fields by setting them here.
 187
 188 [Size Standard_D3]
 189 cores = 4
 190 price = 0.56
 191
 192 [Size Standard_D4]
 193 cores = 8
 194 price = 1.12