services/api/app/controllers/application_controller.rb

   1 # Copyright (C) The Arvados Authors. All rights reserved.
   2 #
   3 # SPDX-License-Identifier: AGPL-3.0
   4
   5 require 'safe_json'
   6 require 'request_error'
   7
   8 module ApiTemplateOverride
   9   def allowed_to_render?(fieldset, field, model, options)
  10     return false if !super
  11     if options[:select]
  12       options[:select].include? field.to_s
  13     else
  14       true
  15     end
  16   end
  17 end
  18
  19 class ActsAsApi::ApiTemplate
  20   prepend ApiTemplateOverride
  21 end
  22
  23 require 'load_param'
  24
  25 class ApplicationController < ActionController::Base
  26   include ThemesForRails::ActionController
  27   include CurrentApiClient
  28   include LoadParam
  29   include DbCurrentTime
  30
  31   respond_to :json
  32   protect_from_forgery
  33
  34   ERROR_ACTIONS = [:render_error, :render_not_found]
  35
  36   around_action :set_current_request_id
  37   before_action :disable_api_methods
  38   before_action :set_cors_headers
  39   before_action :respond_with_json_by_default
  40   before_action :remote_ip
  41   before_action :load_read_auths
  42   before_action :require_auth_scope, except: ERROR_ACTIONS
  43
  44   before_action :catch_redirect_hint
  45   before_action :load_required_parameters
  46   before_action :load_limit_offset_order_params, only: [:index, :contents]
  47   before_action :load_select_param
  48   before_action(:find_object_by_uuid,
  49                 except: [:index, :create] + ERROR_ACTIONS)
  50   before_action :load_where_param, only: [:index, :contents]
  51   before_action :load_filters_param, only: [:index, :contents]
  52   before_action :find_objects_for_index, :only => :index
  53   before_action(:set_nullable_attrs_to_null, only: [:update, :create])
  54   before_action :reload_object_before_update, :only => :update
  55   before_action(:render_404_if_no_object,
  56                 except: [:index, :create] + ERROR_ACTIONS)
  57   before_action :only_admin_can_bypass_federation
  58
  59   attr_writer :resource_attrs
  60
  61   begin
  62     rescue_from(Exception,
  63                 ArvadosModel::PermissionDeniedError,
  64                 :with => :render_error)
  65     rescue_from(ActiveRecord::RecordNotFound,
  66                 ActionController::RoutingError,
  67                 AbstractController::ActionNotFound,
  68                 :with => :render_not_found)
  69   end
  70
  71   def initialize *args
  72     super
  73     @object = nil
  74     @objects = nil
  75     @offset = nil
  76     @limit = nil
  77     @select = nil
  78     @distinct = nil
  79     @response_resource_name = nil
  80     @attrs = nil
  81     @extra_included = nil
  82   end
  83
  84   def default_url_options
  85     options = {}
  86     if Rails.configuration.Services.Controller.ExternalURL != URI("")
  87       exturl = Rails.configuration.Services.Controller.ExternalURL
  88       options[:host] = exturl.host
  89       options[:port] = exturl.port
  90       options[:protocol] = exturl.scheme
  91     end
  92     options
  93   end
  94
  95   def index
  96     if params[:eager] and params[:eager] != '0' and params[:eager] != 0 and params[:eager] != ''
  97       @objects.each(&:eager_load_associations)
  98     end
  99     render_list
 100   end
 101
 102   def show
 103     send_json @object.as_api_response(nil, select: @select)
 104   end
 105
 106   def create
 107     @object = model_class.new resource_attrs
 108
 109     if @object.respond_to?(:name) && params[:ensure_unique_name]
 110       @object.save_with_unique_name!
 111     else
 112       @object.save!
 113     end
 114
 115     show
 116   end
 117
 118   def update
 119     attrs_to_update = resource_attrs.reject { |k,v|
 120       [:kind, :etag, :href].index k
 121     }
 122     @object.update_attributes! attrs_to_update
 123     show
 124   end
 125
 126   def destroy
 127     @object.destroy
 128     show
 129   end
 130
 131   def catch_redirect_hint
 132     if !current_user
 133       if params.has_key?('redirect_to') then
 134         session[:redirect_to] = params[:redirect_to]
 135       end
 136     end
 137   end
 138
 139   def render_404_if_no_object
 140     render_not_found "Object not found" if !@object
 141   end
 142
 143   def only_admin_can_bypass_federation
 144     unless !params[:bypass_federation] || current_user.andand.is_admin
 145       send_error("The bypass_federation parameter is only permitted when current user is admin", status: 403)
 146     end
 147   end
 148
 149   def render_error(e)
 150     logger.error e.inspect
 151     if e.respond_to? :backtrace and e.backtrace
 152       # This will be cleared by lograge after adding it to the log.
 153       # Usually lograge would get the exceptions, but in our case we're catching
 154       # all of them with exception handlers that cannot re-raise them because they
 155       # don't get propagated.
 156       Thread.current[:exception] = e.inspect
 157       Thread.current[:backtrace] = e.backtrace.collect { |x| x + "\n" }.join('')
 158     end
 159     if (@object.respond_to? :errors and
 160         @object.errors.andand.full_messages.andand.any?)
 161       errors = @object.errors.full_messages
 162       logger.error errors.inspect
 163     else
 164       errors = [e.inspect]
 165     end
 166     status = e.respond_to?(:http_status) ? e.http_status : 422
 167     send_error(*errors, status: status)
 168   end
 169
 170   def render_not_found(e=ActionController::RoutingError.new("Path not found"))
 171     logger.error e.inspect
 172     send_error("Path not found", status: 404)
 173   end
 174
 175   def render_accepted
 176     send_json ({accepted: true}), status: 202
 177   end
 178
 179   protected
 180
 181   def bool_param(pname)
 182     if params.include?(pname)
 183       if params[pname].is_a?(Boolean)
 184         return params[pname]
 185       else
 186         logger.warn "Warning: received non-boolean value #{params[pname].inspect} for boolean parameter #{pname} on #{self.class.inspect}, treating as false."
 187       end
 188     end
 189     false
 190   end
 191
 192   def send_error(*args)
 193     if args.last.is_a? Hash
 194       err = args.pop
 195     else
 196       err = {}
 197     end
 198     err[:errors] ||= args
 199     err[:errors].map! do |err|
 200       err += " (#{request.request_id})"
 201     end
 202     err[:error_token] = [Time.now.utc.to_i, "%08x" % rand(16 ** 8)].join("+")
 203     status = err.delete(:status) || 422
 204     logger.error "Error #{err[:error_token]}: #{status}"
 205     send_json err, status: status
 206   end
 207
 208   def send_json response, opts={}
 209     # The obvious render(json: ...) forces a slow JSON encoder. See
 210     # #3021 and commit logs. Might be fixed in Rails 4.1.
 211     render({
 212              plain: SafeJSON.dump(response).html_safe,
 213              content_type: 'application/json'
 214            }.merge opts)
 215   end
 216
 217   def find_objects_for_index
 218     @objects ||= model_class.readable_by(*@read_users, {
 219       :include_trash => (bool_param(:include_trash) || 'untrash' == action_name),
 220       :include_old_versions => bool_param(:include_old_versions)
 221     })
 222     apply_where_limit_order_params
 223   end
 224
 225   def apply_filters model_class=nil
 226     model_class ||= self.model_class
 227     @objects = model_class.apply_filters(@objects, @filters)
 228   end
 229
 230   def apply_where_limit_order_params model_class=nil
 231     model_class ||= self.model_class
 232     apply_filters model_class
 233
 234     ar_table_name = @objects.table_name
 235     if @where.is_a? Hash and @where.any?
 236       conditions = ['1=1']
 237       @where.each do |attr,value|
 238         if attr.to_s == 'any'
 239           if value.is_a?(Array) and
 240               value.length == 2 and
 241               value[0] == 'contains' then
 242             ilikes = []
 243             model_class.searchable_columns('ilike').each do |column|
 244               # Including owner_uuid in an "any column" search will
 245               # probably just return a lot of false positives.
 246               next if column == 'owner_uuid'
 247               ilikes << "#{ar_table_name}.#{column} ilike ?"
 248               conditions << "%#{value[1]}%"
 249             end
 250             if ilikes.any?
 251               conditions[0] << ' and (' + ilikes.join(' or ') + ')'
 252             end
 253           end
 254         elsif attr.to_s.match(/^[a-z][_a-z0-9]+$/) and
 255             model_class.columns.collect(&:name).index(attr.to_s)
 256           if value.nil?
 257             conditions[0] << " and #{ar_table_name}.#{attr} is ?"
 258             conditions << nil
 259           elsif value.is_a? Array
 260             if value[0] == 'contains' and value.length == 2
 261               conditions[0] << " and #{ar_table_name}.#{attr} like ?"
 262               conditions << "%#{value[1]}%"
 263             else
 264               conditions[0] << " and #{ar_table_name}.#{attr} in (?)"
 265               conditions << value
 266             end
 267           elsif value.is_a? String or value.is_a? Integer or value == true or value == false
 268             conditions[0] << " and #{ar_table_name}.#{attr}=?"
 269             conditions << value
 270           elsif value.is_a? Hash
 271             # Not quite the same thing as "equal?" but better than nothing?
 272             value.each do |k,v|
 273               if v.is_a? String
 274                 conditions[0] << " and #{ar_table_name}.#{attr} ilike ?"
 275                 conditions << "%#{k}%#{v}%"
 276               end
 277             end
 278           end
 279         end
 280       end
 281       if conditions.length > 1
 282         conditions[0].sub!(/^1=1 and /, '')
 283         @objects = @objects.
 284           where(*conditions)
 285       end
 286     end
 287
 288     if @select
 289       unless action_name.in? %w(create update destroy)
 290         # Map attribute names in @select to real column names, resolve
 291         # those to fully-qualified SQL column names, and pass the
 292         # resulting string to the select method.
 293         columns_list = model_class.columns_for_attributes(@select).
 294           map { |s| "#{ar_table_name}.#{ActiveRecord::Base.connection.quote_column_name s}" }
 295         @objects = @objects.select(columns_list.join(", "))
 296       end
 297
 298       # This information helps clients understand what they're seeing
 299       # (Workbench always expects it), but they can't select it explicitly
 300       # because it's not an SQL column.  Always add it.
 301       # (This is harmless, given that clients can deduce what they're
 302       # looking at by the returned UUID anyway.)
 303       @select |= ["kind"]
 304     end
 305     @objects = @objects.order(@orders.join ", ") if @orders.any?
 306     @objects = @objects.limit(@limit)
 307     @objects = @objects.offset(@offset)
 308     @objects = @objects.distinct() if @distinct
 309   end
 310
 311   # limit_database_read ensures @objects (which must be an
 312   # ActiveRelation) does not return too many results to fit in memory,
 313   # by previewing the results and calling @objects.limit() if
 314   # necessary.
 315   def limit_database_read(model_class:)
 316     return if @limit == 0 || @limit == 1
 317     model_class ||= self.model_class
 318     limit_columns = model_class.limit_index_columns_read
 319     limit_columns &= model_class.columns_for_attributes(@select) if @select
 320     return if limit_columns.empty?
 321     model_class.transaction do
 322       limit_query = @objects.
 323         except(:select, :distinct).
 324         select("(%s) as read_length" %
 325                limit_columns.map { |s| "octet_length(#{model_class.table_name}.#{s})" }.join(" + "))
 326       new_limit = 0
 327       read_total = 0
 328       limit_query.each do |record|
 329         new_limit += 1
 330         read_total += record.read_length.to_i
 331         if read_total >= Rails.configuration.API.MaxIndexDatabaseRead
 332           new_limit -= 1 if new_limit > 1
 333           @limit = new_limit
 334           break
 335         elsif new_limit >= @limit
 336           break
 337         end
 338       end
 339       @objects = @objects.limit(@limit)
 340       # Force @objects to run its query inside this transaction.
 341       @objects.each { |_| break }
 342     end
 343   end
 344
 345   def resource_attrs
 346     return @attrs if @attrs
 347     @attrs = params[resource_name]
 348     if @attrs.nil?
 349       @attrs = {}
 350     elsif @attrs.is_a? String
 351       @attrs = Oj.strict_load @attrs, symbol_keys: true
 352     end
 353     unless [Hash, ActionController::Parameters].include? @attrs.class
 354       message = "No #{resource_name}"
 355       if resource_name.index('_')
 356         message << " (or #{resource_name.camelcase(:lower)})"
 357       end
 358       message << " hash provided with request"
 359       raise ArgumentError.new(message)
 360     end
 361     %w(created_at modified_by_client_uuid modified_by_user_uuid modified_at).each do |x|
 362       @attrs.delete x.to_sym
 363     end
 364     @attrs = @attrs.symbolize_keys if @attrs.is_a? ActiveSupport::HashWithIndifferentAccess
 365     @attrs
 366   end
 367
 368   # Authentication
 369   def load_read_auths
 370     @read_auths = []
 371     if current_api_client_authorization
 372       @read_auths << current_api_client_authorization
 373     end
 374     # Load reader tokens if this is a read request.
 375     # If there are too many reader tokens, assume the request is malicious
 376     # and ignore it.
 377     if request.get? and params[:reader_tokens] and
 378       params[:reader_tokens].size < 100
 379       secrets = params[:reader_tokens].map { |t|
 380         if t.is_a? String and t.starts_with? "v2/"
 381           t.split("/")[2]
 382         else
 383           t
 384         end
 385       }
 386       @read_auths += ApiClientAuthorization
 387         .includes(:user)
 388         .where('api_token IN (?) AND
 389                 (expires_at IS NULL OR expires_at > CURRENT_TIMESTAMP)',
 390                secrets)
 391         .to_a
 392     end
 393     @read_auths.select! { |auth| auth.scopes_allow_request? request }
 394     @read_users = @read_auths.map(&:user).uniq
 395   end
 396
 397   def require_login
 398     if not current_user
 399       respond_to do |format|
 400         format.json { send_error("Not logged in", status: 401) }
 401         format.html { redirect_to '/login' }
 402       end
 403       false
 404     end
 405   end
 406
 407   def admin_required
 408     unless current_user and current_user.is_admin
 409       send_error("Forbidden", status: 403)
 410     end
 411   end
 412
 413   def require_auth_scope
 414     unless current_user && @read_auths.any? { |auth| auth.user.andand.uuid == current_user.uuid }
 415       if require_login != false
 416         send_error("Forbidden", status: 403)
 417       end
 418       false
 419     end
 420   end
 421
 422   def set_current_request_id
 423     Rails.logger.tagged(request.request_id) do
 424       yield
 425     end
 426   end
 427
 428   def append_info_to_payload(payload)
 429     super
 430     payload[:request_id] = request.request_id
 431     payload[:client_ipaddr] = @remote_ip
 432     payload[:client_auth] = current_api_client_authorization.andand.uuid || nil
 433   end
 434
 435   def disable_api_methods
 436     if Rails.configuration.API.DisabledAPIs[controller_name + "." + action_name]
 437       send_error("Disabled", status: 404)
 438     end
 439   end
 440
 441   def set_cors_headers
 442     response.headers['Access-Control-Allow-Origin'] = '*'
 443     response.headers['Access-Control-Allow-Methods'] = 'GET, HEAD, PUT, POST, DELETE'
 444     response.headers['Access-Control-Allow-Headers'] = 'Authorization, Content-Type'
 445     response.headers['Access-Control-Max-Age'] = '86486400'
 446   end
 447
 448   def respond_with_json_by_default
 449     html_index = request.accepts.index(Mime[:html])
 450     if html_index.nil? or request.accepts[0...html_index].include?(Mime[:json])
 451       request.format = :json
 452     end
 453   end
 454
 455   def model_class
 456     controller_name.classify.constantize
 457   end
 458
 459   def resource_name             # params[] key used by client
 460     controller_name.singularize
 461   end
 462
 463   def table_name
 464     controller_name
 465   end
 466
 467   def find_object_by_uuid
 468     if params[:id] and params[:id].match(/\D/)
 469       params[:uuid] = params.delete :id
 470     end
 471     @where = { uuid: params[:uuid] }
 472     @offset = 0
 473     @limit = 1
 474     @orders = []
 475     @filters = []
 476     @objects = nil
 477     find_objects_for_index
 478     @object = @objects.first
 479   end
 480
 481   def nullable_attributes
 482     []
 483   end
 484
 485   # Go code may send empty values (ie: empty string instead of NULL) that
 486   # should be translated to NULL on the database.
 487   def set_nullable_attrs_to_null
 488     nullify_attrs(resource_attrs.to_hash).each do |k, v|
 489       resource_attrs[k] = v
 490     end
 491   end
 492
 493   def nullify_attrs(a = {})
 494     new_attrs = a.to_hash.symbolize_keys
 495     (new_attrs.keys & nullable_attributes).each do |attr|
 496       val = new_attrs[attr]
 497       if (val.class == Integer && val == 0) || (val.class == String && val == "")
 498         new_attrs[attr] = nil
 499       end
 500     end
 501     return new_attrs
 502   end
 503
 504   def reload_object_before_update
 505     # This is necessary to prevent an ActiveRecord::ReadOnlyRecord
 506     # error when updating an object which was retrieved using a join.
 507     if @object.andand.readonly?
 508       @object = model_class.find_by_uuid(@objects.first.uuid)
 509     end
 510   end
 511
 512   def load_json_value(hash, key, must_be_class=nil)
 513     return if hash[key].nil?
 514
 515     val = hash[key]
 516     if val.is_a? ActionController::Parameters
 517       val = val.to_unsafe_hash
 518     elsif val.is_a? String
 519       val = SafeJSON.load(val)
 520       hash[key] = val
 521     end
 522     # When assigning a Hash to an ActionController::Parameters and then
 523     # retrieve it, we get another ActionController::Parameters instead of
 524     # a Hash. This doesn't happen with other types. This is why 'val' is
 525     # being used to do type checking below.
 526     if must_be_class and !val.is_a? must_be_class
 527       raise TypeError.new("parameter #{key.to_s} must be a #{must_be_class.to_s}")
 528     end
 529   end
 530
 531   def self.accept_attribute_as_json(attr, must_be_class=nil)
 532     before_action lambda { accept_attribute_as_json attr, must_be_class }
 533   end
 534   accept_attribute_as_json :properties, Hash
 535   accept_attribute_as_json :info, Hash
 536   def accept_attribute_as_json(attr, must_be_class)
 537     if params[resource_name] and [Hash, ActionController::Parameters].include?(resource_attrs.class)
 538       if resource_attrs[attr].is_a? Hash
 539         # Convert symbol keys to strings (in hashes provided by
 540         # resource_attrs)
 541         resource_attrs[attr] = resource_attrs[attr].
 542           with_indifferent_access.to_hash
 543       else
 544         load_json_value(resource_attrs, attr, must_be_class)
 545       end
 546     end
 547   end
 548
 549   def self.accept_param_as_json(key, must_be_class=nil)
 550     prepend_before_action lambda { load_json_value(params, key, must_be_class) }
 551   end
 552   accept_param_as_json :reader_tokens, Array
 553
 554   def object_list(model_class:)
 555     if @objects.respond_to?(:except)
 556       limit_database_read(model_class: model_class)
 557     end
 558     list = {
 559       :kind  => "arvados##{(@response_resource_name || resource_name).camelize(:lower)}List",
 560       :etag => "",
 561       :self_link => "",
 562       :offset => @offset,
 563       :limit => @limit,
 564       :items => @objects.as_api_response(nil, {select: @select})
 565     }
 566     if @extra_included
 567       list[:included] = @extra_included.as_api_response(nil, {select: @select})
 568     end
 569     case params[:count]
 570     when nil, '', 'exact'
 571       if @objects.respond_to? :except
 572         list[:items_available] = @objects.
 573           except(:limit).except(:offset).
 574           count(@distinct ? :id : '*')
 575       end
 576     when 'none'
 577     else
 578       raise ArgumentError.new("count parameter must be 'exact' or 'none'")
 579     end
 580     list
 581   end
 582
 583   def render_list
 584     send_json object_list(model_class: self.model_class)
 585   end
 586
 587   def remote_ip
 588     # Caveat: this is highly dependent on the proxy setup. YMMV.
 589     if request.headers.key?('HTTP_X_REAL_IP') then
 590       # We're behind a reverse proxy
 591       @remote_ip = request.headers['HTTP_X_REAL_IP']
 592     else
 593       # Hopefully, we are not!
 594       @remote_ip = request.env['REMOTE_ADDR']
 595     end
 596   end
 597
 598   def load_required_parameters
 599     (self.class.send "_#{params[:action]}_requires_parameters" rescue {}).
 600       each do |key, info|
 601       if info[:required] and not params.include?(key)
 602         raise ArgumentError.new("#{key} parameter is required")
 603       elsif info[:type] == 'boolean'
 604         # Make sure params[key] is either true or false -- not a
 605         # string, not nil, etc.
 606         if not params.include?(key)
 607           params[key] = info[:default] || false
 608         elsif [false, 'false', '0', 0].include? params[key]
 609           params[key] = false
 610         elsif [true, 'true', '1', 1].include? params[key]
 611           params[key] = true
 612         else
 613           raise TypeError.new("#{key} parameter must be a boolean, true or false")
 614         end
 615       end
 616     end
 617     true
 618   end
 619
 620   def self._create_requires_parameters
 621     {
 622       select: {
 623         type: 'array',
 624         description: "Attributes of the new object to return in the response.",
 625         required: false,
 626       },
 627       ensure_unique_name: {
 628         type: "boolean",
 629         description: "Adjust name to ensure uniqueness instead of returning an error on (owner_uuid, name) collision.",
 630         location: "query",
 631         required: false,
 632         default: false
 633       },
 634       cluster_id: {
 635         type: 'string',
 636         description: "Create object on a remote federated cluster instead of the current one.",
 637         location: "query",
 638         required: false,
 639       },
 640     }
 641   end
 642
 643   def self._update_requires_parameters
 644     {
 645       select: {
 646         type: 'array',
 647         description: "Attributes of the updated object to return in the response.",
 648         required: false,
 649       },
 650     }
 651   end
 652
 653   def self._show_requires_parameters
 654     {
 655       select: {
 656         type: 'array',
 657         description: "Attributes of the object to return in the response.",
 658         required: false,
 659       },
 660     }
 661   end
 662
 663   def self._index_requires_parameters
 664     {
 665       filters: { type: 'array', required: false },
 666       where: { type: 'object', required: false },
 667       order: { type: 'array', required: false },
 668       select: {
 669         type: 'array',
 670         description: "Attributes of each object to return in the response.",
 671         required: false,
 672       },
 673       distinct: { type: 'boolean', required: false, default: false },
 674       limit: { type: 'integer', required: false, default: DEFAULT_LIMIT },
 675       offset: { type: 'integer', required: false, default: 0 },
 676       count: { type: 'string', required: false, default: 'exact' },
 677       cluster_id: {
 678         type: 'string',
 679         description: "List objects on a remote federated cluster instead of the current one.",
 680         location: "query",
 681         required: false,
 682       },
 683       bypass_federation: {
 684         type: 'boolean',
 685         required: false,
 686         description: 'bypass federation behavior, list items from local instance database only'
 687       }
 688     }
 689   end
 690
 691   def client_accepts_plain_text_stream
 692     (request.headers['Accept'].split(' ') &
 693      ['text/plain', '*/*']).count > 0
 694   end
 695
 696   def render *opts
 697     if opts.first
 698       response = opts.first[:json]
 699       if response.is_a?(Hash) &&
 700           params[:_profile] &&
 701           Thread.current[:request_starttime]
 702         response[:_profile] = {
 703           request_time: Time.now - Thread.current[:request_starttime]
 704         }
 705       end
 706     end
 707     super(*opts)
 708   end
 709 end