13674: Change InstanceTypes config from array to hash.
[arvados.git] / sdk / go / arvados / config.go
index d7bae38080f2a983e75f8364bf3b9c1aad8f6ece..af09d1af181a68ae962f20487220b134ae9dd4e1 100644 (file)
@@ -1,22 +1,29 @@
+// Copyright (C) The Arvados Authors. All rights reserved.
+//
+// SPDX-License-Identifier: Apache-2.0
+
 package arvados
 
 import (
+       "encoding/json"
+       "errors"
        "fmt"
        "os"
-       "strings"
 
        "git.curoverse.com/arvados.git/sdk/go/config"
 )
 
+const DefaultConfigFile = "/etc/arvados/config.yml"
+
 type Config struct {
        Clusters map[string]Cluster
 }
 
 // GetConfig returns the current system config, loading it from
-// /etc if needed.
-func GetConfig() (*Config, error) {
+// configFile if needed.
+func GetConfig(configFile string) (*Config, error) {
        var cfg Config
-       err := config.LoadFile(&cfg, "/etc/arvados/config.yml")
+       err := config.LoadFile(&cfg, configFile)
        return &cfg, err
 }
 
@@ -44,51 +51,127 @@ func (sc *Config) GetCluster(clusterID string) (*Cluster, error) {
 }
 
 type Cluster struct {
-       ClusterID       string `json:"-"`
-       ManagementToken string
-       SystemNodes     map[string]SystemNode
+       ClusterID          string `json:"-"`
+       ManagementToken    string
+       NodeProfiles       map[string]NodeProfile
+       InstanceTypes      InstanceTypeMap
+       HTTPRequestTimeout Duration
 }
 
-// GetThisSystemNodeConfig returns a SystemNode for the node we're
-// running on right now.
-func (cc *Cluster) GetThisSystemNode() (*SystemNode, error) {
-       hostname, err := os.Hostname()
+type InstanceType struct {
+       Name         string
+       ProviderType string
+       VCPUs        int
+       RAM          int64
+       Scratch      int64
+       Price        float64
+       Preemptible  bool
+}
+
+type InstanceTypeMap map[string]InstanceType
+
+var errDuplicateInstanceTypeName = errors.New("duplicate instance type name")
+
+// UnmarshalJSON handles old config files that provide an array of
+// instance types instead of a hash.
+func (it *InstanceTypeMap) UnmarshalJSON(data []byte) error {
+       if len(data) > 0 && data[0] == '[' {
+               var arr []InstanceType
+               err := json.Unmarshal(data, &arr)
+               if err != nil {
+                       return err
+               }
+               if len(arr) == 0 {
+                       *it = nil
+                       return nil
+               }
+               *it = make(map[string]InstanceType, len(arr))
+               for _, t := range arr {
+                       if _, ok := (*it)[t.Name]; ok {
+                               return errDuplicateInstanceTypeName
+                       }
+                       (*it)[t.Name] = t
+               }
+               return nil
+       }
+       var hash map[string]InstanceType
+       err := json.Unmarshal(data, &hash)
        if err != nil {
-               return nil, err
+               return err
+       }
+       // Fill in Name field using hash key.
+       *it = InstanceTypeMap(hash)
+       for name, t := range *it {
+               t.Name = name
+               (*it)[name] = t
        }
-       return cc.GetSystemNode(hostname)
+       return nil
 }
 
-// GetSystemNodeConfig returns a NodeConfig for the given node. An
+// GetNodeProfile returns a NodeProfile for the given hostname. An
 // error is returned if the appropriate configuration can't be
-// determined (e.g., this does not appear to be a system node).
-func (cc *Cluster) GetSystemNode(node string) (*SystemNode, error) {
-       // Generally node is "a.b.ca", use the first of {"a.b.ca",
-       // "a.b", "a"} that has an entry in SystemNodes.
-       labels := strings.Split(node, ".")
-       for j := len(labels); j > 0; j-- {
-               hostpart := strings.Join(labels[:j], ".")
-               if cfg, ok := cc.SystemNodes[hostpart]; ok {
-                       return &cfg, nil
+// determined (e.g., this does not appear to be a system node). If
+// node is empty, use the OS-reported hostname.
+func (cc *Cluster) GetNodeProfile(node string) (*NodeProfile, error) {
+       if node == "" {
+               hostname, err := os.Hostname()
+               if err != nil {
+                       return nil, err
                }
+               node = hostname
+       }
+       if cfg, ok := cc.NodeProfiles[node]; ok {
+               return &cfg, nil
        }
        // If node is not listed, but "*" gives a default system node
        // config, use the default config.
-       if cfg, ok := cc.SystemNodes["*"]; ok {
+       if cfg, ok := cc.NodeProfiles["*"]; ok {
                return &cfg, nil
        }
        return nil, fmt.Errorf("config does not provision host %q as a system node", node)
 }
 
-type SystemNode struct {
-       Health    Health
-       Keepstore Keepstore
+type NodeProfile struct {
+       Controller  SystemServiceInstance `json:"arvados-controller"`
+       Health      SystemServiceInstance `json:"arvados-health"`
+       Keepproxy   SystemServiceInstance `json:"keepproxy"`
+       Keepstore   SystemServiceInstance `json:"keepstore"`
+       Keepweb     SystemServiceInstance `json:"keep-web"`
+       Nodemanager SystemServiceInstance `json:"arvados-node-manager"`
+       RailsAPI    SystemServiceInstance `json:"arvados-api-server"`
+       Websocket   SystemServiceInstance `json:"arvados-ws"`
+       Workbench   SystemServiceInstance `json:"arvados-workbench"`
 }
 
-type Health struct {
-       Listen string
+type ServiceName string
+
+const (
+       ServiceNameRailsAPI    ServiceName = "arvados-api-server"
+       ServiceNameController  ServiceName = "arvados-controller"
+       ServiceNameNodemanager ServiceName = "arvados-node-manager"
+       ServiceNameWorkbench   ServiceName = "arvados-workbench"
+       ServiceNameWebsocket   ServiceName = "arvados-ws"
+       ServiceNameKeepweb     ServiceName = "keep-web"
+       ServiceNameKeepproxy   ServiceName = "keepproxy"
+       ServiceNameKeepstore   ServiceName = "keepstore"
+)
+
+// ServicePorts returns the configured listening address (or "" if
+// disabled) for each service on the node.
+func (np *NodeProfile) ServicePorts() map[ServiceName]string {
+       return map[ServiceName]string{
+               ServiceNameRailsAPI:    np.RailsAPI.Listen,
+               ServiceNameController:  np.Controller.Listen,
+               ServiceNameNodemanager: np.Nodemanager.Listen,
+               ServiceNameWorkbench:   np.Workbench.Listen,
+               ServiceNameWebsocket:   np.Websocket.Listen,
+               ServiceNameKeepweb:     np.Keepweb.Listen,
+               ServiceNameKeepproxy:   np.Keepproxy.Listen,
+               ServiceNameKeepstore:   np.Keepstore.Listen,
+       }
 }
 
-type Keepstore struct {
+type SystemServiceInstance struct {
        Listen string
+       TLS    bool
 }