apps/workbench/app/models/arvados_api_client.rb

   1 require 'httpclient'
   2 require 'thread'
   3
   4 class ArvadosApiClient
   5   class NotLoggedInException < StandardError
   6   end
   7   class InvalidApiResponseException < StandardError
   8   end
   9
  10   @@profiling_enabled = Rails.configuration.profiling_enabled
  11   @@discovery = nil
  12
  13   # An API client object suitable for handling API requests on behalf
  14   # of the current thread.
  15   def self.new_or_current
  16     Thread.current[:arvados_api_client] ||= new
  17   end
  18
  19   def initialize *args
  20     @api_client = nil
  21     @client_mtx = Mutex.new
  22   end
  23
  24   def api(resources_kind, action, data=nil)
  25     profile_checkpoint
  26
  27     if not @api_client
  28       @client_mtx.synchronize do
  29         @api_client = HTTPClient.new
  30         if Rails.configuration.arvados_insecure_https
  31           @api_client.ssl_config.verify_mode = OpenSSL::SSL::VERIFY_NONE
  32         else
  33           # Use system CA certificates
  34           @api_client.ssl_config.add_trust_ca('/etc/ssl/certs')
  35         end
  36       end
  37     end
  38
  39     resources_kind = class_kind(resources_kind).pluralize if resources_kind.is_a? Class
  40     url = "#{self.arvados_v1_base}/#{resources_kind}#{action}"
  41
  42     # Clean up /arvados/v1/../../discovery/v1 to /discovery/v1
  43     url.sub! '/arvados/v1/../../', '/'
  44
  45     query = {
  46       'api_token' => Thread.current[:arvados_api_token] || '',
  47       'reader_tokens' => (Thread.current[:reader_tokens] || []).to_json,
  48     }
  49     if !data.nil?
  50       data.each do |k,v|
  51         if v.is_a? String or v.nil?
  52           query[k] = v
  53         elsif v == true
  54           query[k] = 1
  55         elsif v == false
  56           query[k] = 0
  57         else
  58           query[k] = JSON.dump(v)
  59         end
  60       end
  61     else
  62       query["_method"] = "GET"
  63     end
  64     if @@profiling_enabled
  65       query["_profile"] = "true"
  66     end
  67
  68     header = {"Accept" => "application/json"}
  69
  70     profile_checkpoint { "Prepare request #{url} #{query[:uuid]} #{query[:where]} #{query[:filters]}" }
  71     msg = @client_mtx.synchronize do
  72       @api_client.post(url,
  73                        query,
  74                        header: header)
  75     end
  76     profile_checkpoint 'API transaction'
  77
  78     if msg.status_code == 401
  79       raise NotLoggedInException.new
  80     end
  81
  82     json = msg.content
  83
  84     begin
  85       resp = Oj.load(json, :symbol_keys => true)
  86     rescue Oj::ParseError
  87       raise InvalidApiResponseException.new json
  88     end
  89     if not resp.is_a? Hash
  90       raise InvalidApiResponseException.new json
  91     end
  92     if msg.status_code != 200
  93       errors = resp[:errors]
  94       errors = errors.join("\n\n") if errors.is_a? Array
  95       raise "#{errors} [API: #{msg.status_code}]"
  96     end
  97     if resp[:_profile]
  98       Rails.logger.info "API client: " \
  99       "#{resp.delete(:_profile)[:request_time]} request_time"
 100     end
 101     profile_checkpoint 'Parse response'
 102     resp
 103   end
 104
 105   def self.patch_paging_vars(ary, items_available, offset, limit, links=nil)
 106     if items_available
 107       (class << ary; self; end).class_eval { attr_accessor :items_available }
 108       ary.items_available = items_available
 109     end
 110     if offset
 111       (class << ary; self; end).class_eval { attr_accessor :offset }
 112       ary.offset = offset
 113     end
 114     if limit
 115       (class << ary; self; end).class_eval { attr_accessor :limit }
 116       ary.limit = limit
 117     end
 118     if links
 119       (class << ary; self; end).class_eval { attr_accessor :links }
 120       ary.links = links
 121     end
 122     ary
 123   end
 124
 125   def unpack_api_response(j, kind=nil)
 126     if j.is_a? Hash and j[:items].is_a? Array and j[:kind].match(/(_list|List)$/)
 127       ary = j[:items].collect { |x| unpack_api_response x, x[:kind] }
 128       links = ArvadosResourceList.new Link
 129       links.results = (j[:links] || []).collect do |x|
 130         unpack_api_response x, x[:kind]
 131       end
 132       self.class.patch_paging_vars(ary, j[:items_available], j[:offset], j[:limit], links)
 133     elsif j.is_a? Hash and (kind || j[:kind])
 134       oclass = self.kind_class(kind || j[:kind])
 135       if oclass
 136         j.keys.each do |k|
 137           childkind = j["#{k.to_s}_kind".to_sym]
 138           if childkind
 139             j[k] = self.unpack_api_response(j[k], childkind)
 140           end
 141         end
 142         oclass.new.private_reload(j)
 143       else
 144         j
 145       end
 146     else
 147       j
 148     end
 149   end
 150
 151   def arvados_login_url(params={})
 152     if Rails.configuration.respond_to? :arvados_login_base
 153       uri = Rails.configuration.arvados_login_base
 154     else
 155       uri = self.arvados_v1_base.sub(%r{/arvados/v\d+.*}, '/login')
 156     end
 157     if params.size > 0
 158       uri += '?' << params.collect { |k,v|
 159         CGI.escape(k.to_s) + '=' + CGI.escape(v.to_s)
 160       }.join('&')
 161     end
 162   end
 163
 164   def arvados_logout_url(params={})
 165     arvados_login_url(params).sub('/login','/logout')
 166   end
 167
 168   def arvados_v1_base
 169     Rails.configuration.arvados_v1_base
 170   end
 171
 172   def discovery
 173     @@discovery ||= api '../../discovery/v1/apis/arvados/v1/rest', ''
 174   end
 175
 176   def kind_class(kind)
 177     kind.match(/^arvados\#(.+?)(_list|List)?$/)[1].pluralize.classify.constantize rescue nil
 178   end
 179
 180   def class_kind(resource_class)
 181     resource_class.to_s.underscore
 182   end
 183
 184   protected
 185   def profile_checkpoint label=nil
 186     return if !@@profiling_enabled
 187     label = yield if block_given?
 188     t = Time.now
 189     if label and @profile_t0
 190       Rails.logger.info "API client: #{t - @profile_t0} #{label}"
 191     end
 192     @profile_t0 = t
 193   end
 194 end