apps/workbench/app/models/arvados_api_client.rb

   1 require 'httpclient'
   2 require 'thread'
   3
   4 class ArvadosApiClient
   5   class NotLoggedInException < StandardError
   6   end
   7   class InvalidApiResponseException < StandardError
   8   end
   9   class AccessForbiddenException < StandardError
  10   end
  11
  12   @@profiling_enabled = Rails.configuration.profiling_enabled
  13   @@discovery = nil
  14
  15   # An API client object suitable for handling API requests on behalf
  16   # of the current thread.
  17   def self.new_or_current
  18     # If this thread doesn't have an API client yet, *or* this model
  19     # has been reloaded since the existing client was created, create
  20     # a new client. Otherwise, keep using the latest client created in
  21     # the current thread.
  22     unless Thread.current[:arvados_api_client].andand.class == self
  23       Thread.current[:arvados_api_client] = new
  24     end
  25     Thread.current[:arvados_api_client]
  26   end
  27
  28   def initialize *args
  29     @api_client = nil
  30     @client_mtx = Mutex.new
  31   end
  32
  33   def api(resources_kind, action, data=nil)
  34     profile_checkpoint
  35
  36     if not @api_client
  37       @client_mtx.synchronize do
  38         @api_client = HTTPClient.new
  39         if Rails.configuration.arvados_insecure_https
  40           @api_client.ssl_config.verify_mode = OpenSSL::SSL::VERIFY_NONE
  41         else
  42           # Use system CA certificates
  43           @api_client.ssl_config.add_trust_ca('/etc/ssl/certs')
  44         end
  45       end
  46     end
  47
  48     resources_kind = class_kind(resources_kind).pluralize if resources_kind.is_a? Class
  49     url = "#{self.arvados_v1_base}/#{resources_kind}#{action}"
  50
  51     # Clean up /arvados/v1/../../discovery/v1 to /discovery/v1
  52     url.sub! '/arvados/v1/../../', '/'
  53
  54     query = {
  55       'api_token' => Thread.current[:arvados_api_token] || '',
  56       'reader_tokens' => (Thread.current[:reader_tokens] || []).to_json,
  57     }
  58     if !data.nil?
  59       data.each do |k,v|
  60         if v.is_a? String or v.nil?
  61           query[k] = v
  62         elsif v == true
  63           query[k] = 1
  64         elsif v == false
  65           query[k] = 0
  66         else
  67           query[k] = JSON.dump(v)
  68         end
  69       end
  70     else
  71       query["_method"] = "GET"
  72     end
  73     if @@profiling_enabled
  74       query["_profile"] = "true"
  75     end
  76
  77     header = {"Accept" => "application/json"}
  78
  79     profile_checkpoint { "Prepare request #{url} #{query[:uuid]} #{query[:where]} #{query[:filters]}" }
  80     msg = @client_mtx.synchronize do
  81       @api_client.post(url,
  82                        query,
  83                        header: header)
  84     end
  85     profile_checkpoint 'API transaction'
  86
  87     if msg.status_code == 401
  88       raise NotLoggedInException.new
  89     end
  90
  91     json = msg.content
  92
  93     begin
  94       resp = Oj.load(json, :symbol_keys => true)
  95     rescue Oj::ParseError
  96       raise InvalidApiResponseException.new json
  97     end
  98     if not resp.is_a? Hash
  99       raise InvalidApiResponseException.new json
 100     end
 101     if msg.status_code != 200
 102       errors = resp[:errors]
 103       errors = errors.join("\n\n") if errors.is_a? Array
 104       if msg.status_code == 403
 105         raise AccessForbiddenException.new "#{errors} [API: #{msg.status_code}]"
 106       else
 107         raise "#{errors} [API: #{msg.status_code}]"
 108       end
 109     end
 110     if resp[:_profile]
 111       Rails.logger.info "API client: " \
 112       "#{resp.delete(:_profile)[:request_time]} request_time"
 113     end
 114     profile_checkpoint 'Parse response'
 115     resp
 116   end
 117
 118   def self.patch_paging_vars(ary, items_available, offset, limit, links=nil)
 119     if items_available
 120       (class << ary; self; end).class_eval { attr_accessor :items_available }
 121       ary.items_available = items_available
 122     end
 123     if offset
 124       (class << ary; self; end).class_eval { attr_accessor :offset }
 125       ary.offset = offset
 126     end
 127     if limit
 128       (class << ary; self; end).class_eval { attr_accessor :limit }
 129       ary.limit = limit
 130     end
 131     if links
 132       (class << ary; self; end).class_eval { attr_accessor :links }
 133       ary.links = links
 134     end
 135     ary
 136   end
 137
 138   def unpack_api_response(j, kind=nil)
 139     if j.is_a? Hash and j[:items].is_a? Array and j[:kind].match(/(_list|List)$/)
 140       ary = j[:items].collect { |x| unpack_api_response x, x[:kind] }
 141       links = ArvadosResourceList.new Link
 142       links.results = (j[:links] || []).collect do |x|
 143         unpack_api_response x, x[:kind]
 144       end
 145       self.class.patch_paging_vars(ary, j[:items_available], j[:offset], j[:limit], links)
 146     elsif j.is_a? Hash and (kind || j[:kind])
 147       oclass = self.kind_class(kind || j[:kind])
 148       if oclass
 149         j.keys.each do |k|
 150           childkind = j["#{k.to_s}_kind".to_sym]
 151           if childkind
 152             j[k] = self.unpack_api_response(j[k], childkind)
 153           end
 154         end
 155         oclass.new.private_reload(j)
 156       else
 157         j
 158       end
 159     else
 160       j
 161     end
 162   end
 163
 164   def arvados_login_url(params={})
 165     if Rails.configuration.respond_to? :arvados_login_base
 166       uri = Rails.configuration.arvados_login_base
 167     else
 168       uri = self.arvados_v1_base.sub(%r{/arvados/v\d+.*}, '/login')
 169     end
 170     if params.size > 0
 171       uri += '?' << params.collect { |k,v|
 172         CGI.escape(k.to_s) + '=' + CGI.escape(v.to_s)
 173       }.join('&')
 174     end
 175   end
 176
 177   def arvados_logout_url(params={})
 178     arvados_login_url(params).sub('/login','/logout')
 179   end
 180
 181   def arvados_v1_base
 182     Rails.configuration.arvados_v1_base
 183   end
 184
 185   def discovery
 186     @@discovery ||= api '../../discovery/v1/apis/arvados/v1/rest', ''
 187   end
 188
 189   def kind_class(kind)
 190     kind.match(/^arvados\#(.+?)(_list|List)?$/)[1].pluralize.classify.constantize rescue nil
 191   end
 192
 193   def class_kind(resource_class)
 194     resource_class.to_s.underscore
 195   end
 196
 197   protected
 198   def profile_checkpoint label=nil
 199     return if !@@profiling_enabled
 200     label = yield if block_given?
 201     t = Time.now
 202     if label and @profile_t0
 203       Rails.logger.info "API client: #{t - @profile_t0} #{label}"
 204     end
 205     @profile_t0 = t
 206   end
 207 end