arvados/controller/resources/virtual_machines.sls

   1 # -*- coding: utf-8 -*-
   2 # vim: ft=sls
   3
   4 # Copyright (C) The Arvados Authors. All rights reserved.
   5 #
   6 # SPDX-License-Identifier: Apache-2.0
   7
   8 {#- Get the `tplroot` from `tpldir` #}
   9 {%- set tplroot = tpldir.split('/')[0] %}
  10 {%- set sls_config_file = tplroot ~ '.config.file' %}
  11 {%- from tplroot ~ "/map.jinja" import arvados with context %}
  12 {%- from tplroot ~ "/libtofs.jinja" import files_switch with context %}
  13
  14 {%- set virtual_machines = arvados.cluster.resources.virtual_machines | default({}) %}
  15 {%- set api_token = arvados.cluster.tokens.system_root | yaml_encode %}
  16 {%- set api_host = arvados.cluster.Services.Controller.ExternalURL | regex_replace('^http(s?)://', '', ignorecase=true) %}
  17
  18 {%- set arv_command = '/usr/local/rvm/bin/rvm-exec default arv'
  19                       if arvados.ruby.manage_ruby and arvados.ruby.use_rvm
  20                       else 'arv' %}
  21 include:
  22   - ..package
  23   - {{ sls_config_file }}
  24   - ..service
  25
  26 arvados-controller-resources-virtual-machines-jq-pkg-installed:
  27   pkg.installed:
  28     - name: jq
  29
  30 {%- for vm, vm_params in virtual_machines.items() %}
  31   {%- set vm_name = vm_params.name | default(vm) %}
  32   {%- set arvados_api_host_insecure = arvados.cluster.tls.insecure | default(false) %}
  33
  34   {%- set cmd_query_vm_uuid = 'ARVADOS_API_TOKEN=' ~ api_token ~ ' ' ~
  35                               'ARVADOS_API_HOST=' ~ api_host ~ ' ' ~
  36                               'ARVADOS_API_HOST_INSECURE=' ~ arvados_api_host_insecure ~ ' ' ~
  37                               arv_command ~ ' --short virtual_machine list' ~
  38                               ' --filters \'[["hostname", "=", "' ~ vm_name ~ '"]]\''
  39   %}
  40
  41 # Create the virtual machine record
  42 arvados-controller-resources-virtual-machines-{{ vm }}-record-cmd-run:
  43   cmd.run:
  44     - env:
  45       - ARVADOS_API_TOKEN: {{ api_token }}
  46       - ARVADOS_API_HOST: {{ api_host }}
  47       - ARVADOS_API_HOST_INSECURE: {{ arvados.cluster.tls.insecure | default(false) }}
  48     - name: |
  49         {{ arv_command }} --format=uuid \
  50           virtual_machine \
  51           create \
  52           --virtual-machine '{"hostname":"{{ vm_name }}" }'
  53     - unless: |
  54           {{ cmd_query_vm_uuid }} | \
  55           /bin/grep -qE "[a-z0-9]{5}-2x53u-[a-z0-9]{15}"
  56     - require:
  57       - pkg: arvados-controller-package-install-pkg-installed
  58       - cmd: arvados-controller-service-running-service-ready-cmd-run
  59       - gem: arvados-controller-package-install-gem-arvados-cli-installed
  60
  61 # We need to use the UUID generated in the previous command to see if there's a
  62 # scoped token for it. There's no easy way to pass the value from a shellout
  63 # to another state, so we store it in a temp file and use that in the next
  64 # command. Flaky, mostly because the `unless` clause is just checking thatg
  65 # the file content is a token uuid :|
  66 arvados-controller-resources-virtual-machines-{{ vm }}-get-vm_uuid-cmd-run:
  67   cmd.run:
  68     {%- if arvados.ruby.manage_ruby and arvados.ruby.use_rvm %}
  69     - prepend_path: /usr/local/rvm/gems/{{ arvados.ruby.pkg }}/bin
  70     {%- endif %}
  71     - name: {{ cmd_query_vm_uuid }} | head -1 | tee /tmp/{{ vm }}
  72     - require:
  73       - cmd: arvados-controller-resources-virtual-machines-{{ vm }}-record-cmd-run
  74       - gem: arvados-controller-package-install-gem-arvados-cli-installed
  75     - unless:
  76       - /bin/grep -qE "[a-z0-9]{5}-2x53u-[a-z0-9]{15}" /tmp/{{ vm }}
  77
  78   # There's no direct way to query the scoped_token for a given virtual_machine
  79   # so we need to parse the api_client_authorization list through some jq
  80   {%- set cmd_query_scoped_token_url = 'VM_UUID=$(cat /tmp/' ~ vm ~ ') && ' ~
  81                                        'ARVADOS_API_TOKEN=' ~ api_token ~ ' ' ~
  82                                        'ARVADOS_API_HOST=' ~ api_host ~ ' ' ~
  83                                        'ARVADOS_API_HOST_INSECURE=' ~ arvados_api_host_insecure ~ ' ' ~
  84                                        arv_command ~ ' api_client_authorization list |' ~
  85                                        ' /usr/bin/jq -e \'.items[].scopes[] | select(. == "GET ' ~
  86                                        '/arvados/v1/virtual_machines/\'${VM_UUID}\'/logins")\' && ' ~
  87                                        'unset VM_UUID'
  88   %}
  89
  90 # Create the VM scoped tokens
  91 arvados-controller-resources-virtual-machines-{{ vm }}-scoped-token-cmd-run:
  92   cmd.run:
  93     - env:
  94       - ARVADOS_API_TOKEN: {{ api_token }}
  95       - ARVADOS_API_HOST: {{ api_host }}
  96       - ARVADOS_API_HOST_INSECURE: {{ arvados.cluster.tls.insecure | default(false) }}
  97     - name: |
  98         VM_UUID=$(cat /tmp/{{ vm }}) &&
  99         {{ arv_command }} --format=uuid \
 100           api_client_authorization \
 101           create \
 102           --api-client-authorization '{"scopes":["GET /arvados/v1/virtual_machines/'${VM_UUID}'/logins"]}'
 103     - unless: {{ cmd_query_scoped_token_url }}
 104     - require:
 105       - pkg: arvados-controller-package-install-pkg-installed
 106       - pkg: arvados-controller-resources-virtual-machines-jq-pkg-installed
 107       - cmd: arvados-controller-resources-virtual-machines-{{ vm }}-get-vm_uuid-cmd-run
 108       - gem: arvados-controller-package-install-gem-arvados-cli-installed
 109
 110 {%- endfor %}