apps/workbench/app/models/arvados_api_client.rb

   1 require 'httpclient'
   2 require 'thread'
   3
   4 class ArvadosApiClient
   5   class NotLoggedInException < StandardError
   6   end
   7   class InvalidApiResponseException < StandardError
   8   end
   9
  10   @@profiling_enabled = Rails.configuration.profiling_enabled
  11   @@discovery = nil
  12
  13   # An API client object suitable for handling API requests on behalf
  14   # of the current thread.
  15   def self.new_or_current
  16     # If this thread doesn't have an API client yet, *or* this model
  17     # has been reloaded since the existing client was created, create
  18     # a new client. Otherwise, keep using the latest client created in
  19     # the current thread.
  20     unless Thread.current[:arvados_api_client].andand.class == self
  21       Thread.current[:arvados_api_client] = new
  22     end
  23     Thread.current[:arvados_api_client]
  24   end
  25
  26   def initialize *args
  27     @api_client = nil
  28     @client_mtx = Mutex.new
  29   end
  30
  31   def api(resources_kind, action, data=nil)
  32     profile_checkpoint
  33
  34     if not @api_client
  35       @client_mtx.synchronize do
  36         @api_client = HTTPClient.new
  37         if Rails.configuration.arvados_insecure_https
  38           @api_client.ssl_config.verify_mode = OpenSSL::SSL::VERIFY_NONE
  39         else
  40           # Use system CA certificates
  41           @api_client.ssl_config.add_trust_ca('/etc/ssl/certs')
  42         end
  43       end
  44     end
  45
  46     resources_kind = class_kind(resources_kind).pluralize if resources_kind.is_a? Class
  47     url = "#{self.arvados_v1_base}/#{resources_kind}#{action}"
  48
  49     # Clean up /arvados/v1/../../discovery/v1 to /discovery/v1
  50     url.sub! '/arvados/v1/../../', '/'
  51
  52     query = {
  53       'api_token' => Thread.current[:arvados_api_token] || '',
  54       'reader_tokens' => (Thread.current[:reader_tokens] || []).to_json,
  55     }
  56     if !data.nil?
  57       data.each do |k,v|
  58         if v.is_a? String or v.nil?
  59           query[k] = v
  60         elsif v == true
  61           query[k] = 1
  62         elsif v == false
  63           query[k] = 0
  64         else
  65           query[k] = JSON.dump(v)
  66         end
  67       end
  68     else
  69       query["_method"] = "GET"
  70     end
  71     if @@profiling_enabled
  72       query["_profile"] = "true"
  73     end
  74
  75     header = {"Accept" => "application/json"}
  76
  77     profile_checkpoint { "Prepare request #{url} #{query[:uuid]} #{query[:where]} #{query[:filters]}" }
  78     msg = @client_mtx.synchronize do
  79       @api_client.post(url,
  80                        query,
  81                        header: header)
  82     end
  83     profile_checkpoint 'API transaction'
  84
  85     if msg.status_code == 401
  86       raise NotLoggedInException.new
  87     end
  88
  89     json = msg.content
  90
  91     begin
  92       resp = Oj.load(json, :symbol_keys => true)
  93     rescue Oj::ParseError
  94       raise InvalidApiResponseException.new json
  95     end
  96     if not resp.is_a? Hash
  97       raise InvalidApiResponseException.new json
  98     end
  99     if msg.status_code != 200
 100       errors = resp[:errors]
 101       errors = errors.join("\n\n") if errors.is_a? Array
 102       raise "#{errors} [API: #{msg.status_code}]"
 103     end
 104     if resp[:_profile]
 105       Rails.logger.info "API client: " \
 106       "#{resp.delete(:_profile)[:request_time]} request_time"
 107     end
 108     profile_checkpoint 'Parse response'
 109     resp
 110   end
 111
 112   def self.patch_paging_vars(ary, items_available, offset, limit, links=nil)
 113     if items_available
 114       (class << ary; self; end).class_eval { attr_accessor :items_available }
 115       ary.items_available = items_available
 116     end
 117     if offset
 118       (class << ary; self; end).class_eval { attr_accessor :offset }
 119       ary.offset = offset
 120     end
 121     if limit
 122       (class << ary; self; end).class_eval { attr_accessor :limit }
 123       ary.limit = limit
 124     end
 125     if links
 126       (class << ary; self; end).class_eval { attr_accessor :links }
 127       ary.links = links
 128     end
 129     ary
 130   end
 131
 132   def unpack_api_response(j, kind=nil)
 133     if j.is_a? Hash and j[:items].is_a? Array and j[:kind].match(/(_list|List)$/)
 134       ary = j[:items].collect { |x| unpack_api_response x, x[:kind] }
 135       links = ArvadosResourceList.new Link
 136       links.results = (j[:links] || []).collect do |x|
 137         unpack_api_response x, x[:kind]
 138       end
 139       self.class.patch_paging_vars(ary, j[:items_available], j[:offset], j[:limit], links)
 140     elsif j.is_a? Hash and (kind || j[:kind])
 141       oclass = self.kind_class(kind || j[:kind])
 142       if oclass
 143         j.keys.each do |k|
 144           childkind = j["#{k.to_s}_kind".to_sym]
 145           if childkind
 146             j[k] = self.unpack_api_response(j[k], childkind)
 147           end
 148         end
 149         oclass.new.private_reload(j)
 150       else
 151         j
 152       end
 153     else
 154       j
 155     end
 156   end
 157
 158   def arvados_login_url(params={})
 159     if Rails.configuration.respond_to? :arvados_login_base
 160       uri = Rails.configuration.arvados_login_base
 161     else
 162       uri = self.arvados_v1_base.sub(%r{/arvados/v\d+.*}, '/login')
 163     end
 164     if params.size > 0
 165       uri += '?' << params.collect { |k,v|
 166         CGI.escape(k.to_s) + '=' + CGI.escape(v.to_s)
 167       }.join('&')
 168     end
 169   end
 170
 171   def arvados_logout_url(params={})
 172     arvados_login_url(params).sub('/login','/logout')
 173   end
 174
 175   def arvados_v1_base
 176     Rails.configuration.arvados_v1_base
 177   end
 178
 179   def discovery
 180     @@discovery ||= api '../../discovery/v1/apis/arvados/v1/rest', ''
 181   end
 182
 183   def kind_class(kind)
 184     kind.match(/^arvados\#(.+?)(_list|List)?$/)[1].pluralize.classify.constantize rescue nil
 185   end
 186
 187   def class_kind(resource_class)
 188     resource_class.to_s.underscore
 189   end
 190
 191   protected
 192   def profile_checkpoint label=nil
 193     return if !@@profiling_enabled
 194     label = yield if block_given?
 195     t = Time.now
 196     if label and @profile_t0
 197       Rails.logger.info "API client: #{t - @profile_t0} #{label}"
 198     end
 199     @profile_t0 = t
 200   end
 201 end