Merge branch '2800-python-global-state' into 2800-pgs
[arvados.git] / sdk / ruby / lib / arvados.rb
index 0b004635082968e5f6784b2c65d5cf08f89739c4..6a9a52b1067f97dfa0a05a047fcf35db86b8b9ec 100644 (file)
@@ -2,6 +2,8 @@ require 'rubygems'
 require 'google/api_client'
 require 'active_support/inflector'
 require 'json'
+require 'fileutils'
+require 'andand'
 
 ActiveSupport::Inflector.inflections do |inflect|
   inflect.irregular 'specimen', 'specimens'
@@ -23,6 +25,7 @@ class Arvados
   class TransactionFailedError < StandardError
   end
 
+  @@config = nil
   @@debuglevel = 0
   class << self
     attr_accessor :debuglevel
@@ -32,18 +35,18 @@ class Arvados
     @application_version ||= 0.0
     @application_name ||= File.split($0).last
 
-    @arvados_api_version = opts[:api_version] ||
-      ENV['ARVADOS_API_VERSION'] ||
-      'v1'
+    @arvados_api_version = opts[:api_version] || 'v1'
+
     @arvados_api_host = opts[:api_host] ||
-      ENV['ARVADOS_API_HOST'] or
+      config['ARVADOS_API_HOST'] or
       raise "#{$0}: no :api_host or ENV[ARVADOS_API_HOST] provided."
     @arvados_api_token = opts[:api_token] ||
-      ENV['ARVADOS_API_TOKEN'] or
+      config['ARVADOS_API_TOKEN'] or
       raise "#{$0}: no :api_token or ENV[ARVADOS_API_TOKEN] provided."
 
-    if (opts[:api_host] ? opts[:suppress_ssl_warnings] :
-        ENV['ARVADOS_API_HOST_INSECURE'])
+    if (opts[:suppress_ssl_warnings] or
+        %w(1 true yes).index(config['ARVADOS_API_HOST_INSECURE'].
+                             andand.downcase))
       suppress_warnings do
         OpenSSL::SSL.const_set 'VERIFY_PEER', OpenSSL::SSL::VERIFY_NONE
       end
@@ -76,7 +79,7 @@ class Arvados
         each do |method|
         class << klass; self; end.class_eval do
           define_method method.name do |*params|
-            self.api_exec(method.name.to_sym, *params)
+            self.api_exec method, *params
           end
         end
       end
@@ -84,7 +87,7 @@ class Arvados
       # Give the new class access to the API
       klass.instance_eval do
         @arvados = _arvados
-        # These should be pulled from the discovery document instead:
+        # TODO: Pull these from the discovery document instead.
         @api_models_sym = classname.underscore.split('/').last.pluralize.to_sym
         @api_model_sym = classname.underscore.split('/').last.to_sym
       end
@@ -105,14 +108,27 @@ class Arvados
   class Google::APIClient
     def discovery_document(api, version)
       api = api.to_s
-      return @discovery_documents["#{api}:#{version}"] ||=
+      discovery_uri = self.discovery_uri(api, version)
+      discovery_uri_hash = Digest::MD5.hexdigest(discovery_uri)
+      return @discovery_documents[discovery_uri_hash] ||=
         begin
-          response = self.execute!(
-                                   :http_method => :get,
-                                   :uri => self.discovery_uri(api, version),
-                                   :authenticated => false
-                                   )
-          response.body.class == String ? JSON.parse(response.body) : response.body
+          # fetch new API discovery doc if stale
+          cached_doc = File.expand_path "~/.cache/arvados/discovery-#{discovery_uri_hash}.json" rescue nil
+          if cached_doc.nil? or not File.exist?(cached_doc) or (Time.now - File.mtime(cached_doc)) > 86400
+            response = self.execute!(:http_method => :get,
+                                     :uri => discovery_uri,
+                                     :authenticated => false)
+            begin
+              FileUtils.makedirs(File.dirname cached_doc)
+              File.open(cached_doc, 'w') do |f|
+                f.puts response.body
+              end
+            rescue
+              return JSON.load response.body
+            end
+          end
+
+          File.open(cached_doc) { |f| JSON.load f }
         end
     end
   end
@@ -132,6 +148,59 @@ class Arvados
     $stderr.puts "#{File.split($0).last} #{$$}: #{message}" if @@debuglevel >= verbosity
   end
 
+  def debuglog *args
+    self.class.debuglog *args
+  end
+
+  def config(config_file_path="~/.config/arvados/settings.conf")
+    return @@config if @@config
+
+    # Initialize config settings with environment variables.
+    config = {}
+    config['ARVADOS_API_HOST']          = ENV['ARVADOS_API_HOST']
+    config['ARVADOS_API_TOKEN']         = ENV['ARVADOS_API_TOKEN']
+    config['ARVADOS_API_HOST_INSECURE'] = ENV['ARVADOS_API_HOST_INSECURE']
+
+    if config['ARVADOS_API_HOST'] and config['ARVADOS_API_TOKEN']
+      # Environment variables take precedence over the config file, so
+      # there is no point reading the config file. If the environment
+      # specifies a _HOST without asking for _INSECURE, we certainly
+      # shouldn't give the config file a chance to create a
+      # system-wide _INSECURE state for this user.
+      #
+      # Note: If we start using additional configuration settings from
+      # this file in the future, we might have to read the file anyway
+      # instead of returning here.
+      return (@@config = config)
+    end
+
+    begin
+      expanded_path = File.expand_path config_file_path
+      if File.exist? expanded_path
+        # Load settings from the config file.
+        lineno = 0
+        File.open(expanded_path).each do |line|
+          lineno = lineno + 1
+          # skip comments and blank lines
+          next if line.match('^\s*#') or not line.match('\S')
+          var, val = line.chomp.split('=', 2)
+          var.strip!
+          val.strip!
+          # allow environment settings to override config files.
+          if !var.empty? and val
+            config[var] ||= val
+          else
+            debuglog "#{expanded_path}: #{lineno}: could not parse `#{line}'", 0
+          end
+        end
+      end
+    rescue StandardError => e
+      debuglog "Ignoring error reading #{config_file_path}: #{e}", 0
+    end
+
+    @@config = config
+  end
+
   class Model
     def self.arvados_api
       arvados.arvados_api
@@ -146,15 +215,29 @@ class Arvados
       self.class.arvados.class.debuglog *args
     end
     def self.api_exec(method, parameters={})
-      parameters = parameters.
-        merge(:api_token => ENV['ARVADOS_API_TOKEN'])
+      api_method = arvados_api.send(api_models_sym).send(method.name.to_sym)
       parameters.each do |k,v|
         parameters[k] = v.to_json if v.is_a? Array or v.is_a? Hash
       end
+      # Look for objects expected by request.properties.(key).$ref and
+      # move them from parameters (query string) to request body.
+      body = nil
+      method.discovery_document['request'].
+        andand['properties'].
+        andand.each do |k,v|
+        if v.is_a? Hash and v['$ref']
+          body ||= {}
+          body[k] = parameters.delete k.to_sym
+        end
+      end
       result = client.
-        execute(:api_method => arvados_api.send(api_models_sym).send(method),
+        execute(:api_method => api_method,
                 :authenticated => false,
-                :parameters => parameters)
+                :parameters => parameters,
+                :body => body,
+                :headers => {
+                  authorization: 'OAuth2 '+arvados.config['ARVADOS_API_TOKEN']
+                })
       resp = JSON.parse result.body, :symbolize_names => true
       if resp[:errors]
         raise Arvados::TransactionFailedError.new(resp[:errors])