Merge branch '21535-multi-wf-delete'
[arvados.git] / services / api / app / controllers / arvados / v1 / groups_controller.rb
1 # Copyright (C) The Arvados Authors. All rights reserved.
2 #
3 # SPDX-License-Identifier: AGPL-3.0
4
5 require "trashable"
6
7 class Arvados::V1::GroupsController < ApplicationController
8   include TrashableController
9
10   skip_before_action :find_object_by_uuid, only: :shared
11   skip_before_action :render_404_if_no_object, only: :shared
12
13   TRASHABLE_CLASSES = ['project']
14
15   def self._index_requires_parameters
16     (super rescue {}).
17       merge({
18         include_trash: {
19           type: 'boolean', required: false, default: false, description: "Include items whose is_trashed attribute is true.",
20         },
21       })
22   end
23
24   def self._show_requires_parameters
25     (super rescue {}).
26       merge({
27         include_trash: {
28           type: 'boolean', required: false, default: false, description: "Show group/project even if its is_trashed attribute is true.",
29         },
30       })
31   end
32
33   def self._contents_requires_parameters
34     params = _index_requires_parameters.
35       merge({
36               uuid: {
37                 type: 'string', required: false, default: '',
38               },
39               recursive: {
40                 type: 'boolean', required: false, default: false, description: 'Include contents from child groups recursively.',
41               },
42               include: {
43                 type: 'string', required: false, description: 'Include objects referred to by listed field in "included" (only owner_uuid).',
44               },
45               include_old_versions: {
46                 type: 'boolean', required: false, default: false, description: 'Include past collection versions.',
47               }
48             })
49     params
50   end
51
52   def self._create_requires_parameters
53     super.merge(
54       {
55         async: {
56           required: false,
57           type: 'boolean',
58           location: 'query',
59           default: false,
60           description: 'defer permissions update',
61         }
62       }
63     )
64   end
65
66   def self._update_requires_parameters
67     super.merge(
68       {
69         async: {
70           required: false,
71           type: 'boolean',
72           location: 'query',
73           default: false,
74           description: 'defer permissions update',
75         }
76       }
77     )
78   end
79
80   def create
81     if params[:async]
82       @object = model_class.new(resource_attrs.merge({async_permissions_update: true}))
83       @object.save!
84       render_accepted
85     else
86       super
87     end
88   end
89
90   def update
91     if params[:async]
92       attrs_to_update = resource_attrs.reject { |k, v|
93         [:kind, :etag, :href].index k
94       }.merge({async_permissions_update: true})
95       @object.update!(attrs_to_update)
96       @object.save!
97       render_accepted
98     else
99       super
100     end
101   end
102
103   def destroy
104     if !TRASHABLE_CLASSES.include?(@object.group_class)
105       @object.destroy
106       show
107     else
108       super # Calls destroy from TrashableController module
109     end
110   end
111
112   def render_404_if_no_object
113     if params[:action] == 'contents'
114       if !params[:uuid]
115         # OK!
116         @object = nil
117         true
118       elsif @object
119         # Project group
120         true
121       elsif (@object = User.where(uuid: params[:uuid]).first)
122         # "Home" pseudo-project
123         true
124       else
125         super
126       end
127     else
128       super
129     end
130   end
131
132   def contents
133     load_searchable_objects
134     list = {
135       :kind => "arvados#objectList",
136       :etag => "",
137       :self_link => "",
138       :offset => @offset,
139       :limit => @limit,
140       :items => @objects.as_api_response(nil)
141     }
142     if params[:count] != 'none'
143       list[:items_available] = @items_available
144     end
145     if @extra_included
146       list[:included] = @extra_included.as_api_response(nil, {select: @select})
147     end
148     send_json(list)
149   end
150
151   def shared
152     # The purpose of this endpoint is to return the toplevel set of
153     # groups which are *not* reachable through a direct ownership
154     # chain of projects starting from the current user account.  In
155     # other words, groups which to which access was granted via a
156     # permission link or chain of links.
157     #
158     # This also returns (in the "included" field) the objects that own
159     # those projects (users or non-project groups).
160     #
161     #
162     # The intended use of this endpoint is to support clients which
163     # wish to browse those projects which are visible to the user but
164     # are not part of the "home" project.
165
166     load_limit_offset_order_params
167     load_filters_param
168
169     @objects = exclude_home Group.readable_by(*@read_users), Group
170
171     apply_where_limit_order_params
172
173     if params["include"] == "owner_uuid"
174       owners = @objects.map(&:owner_uuid).to_set
175       @extra_included = []
176       [Group, User].each do |klass|
177         @extra_included += klass.readable_by(*@read_users).where(uuid: owners.to_a).to_a
178       end
179     end
180
181     index
182   end
183
184   def self._shared_requires_parameters
185     rp = self._index_requires_parameters
186     rp[:include] = { type: 'string', required: false }
187     rp
188   end
189
190   protected
191
192   def load_searchable_objects
193     all_objects = []
194     @items_available = 0
195
196     # Reload the orders param, this time without prefixing unqualified
197     # columns ("name" => "groups.name"). Here, unqualified orders
198     # apply to each table being searched, not "groups".
199     load_limit_offset_order_params(fill_table_names: false)
200
201     if params['count'] == 'none' and @offset != 0 and (params['last_object_class'].nil? or params['last_object_class'].empty?)
202       # can't use offset without getting counts, so
203       # fall back to count=exact behavior.
204       params['count'] = 'exact'
205       set_count_none = true
206     end
207
208     # Trick apply_where_limit_order_params into applying suitable
209     # per-table values. *_all are the real ones we'll apply to the
210     # aggregate set.
211     limit_all = @limit
212     offset_all = @offset
213     # save the orders from the current request as determined by load_param,
214     # but otherwise discard them because we're going to be getting objects
215     # from many models
216     request_orders = @orders.clone
217     @orders = []
218
219     request_filters = @filters
220
221     klasses = [Group, ContainerRequest, Workflow, Collection]
222
223     table_names = Hash[klasses.collect { |k| [k, k.table_name] }]
224
225     disabled_methods = Rails.configuration.API.DisabledAPIs
226     avail_klasses = table_names.select{|k, t| !disabled_methods[t+'.index']}
227     klasses = avail_klasses.keys
228
229     request_filters.each do |col, op, val|
230       if col.index('.') && !table_names.values.include?(col.split('.', 2)[0])
231         raise ArgumentError.new("Invalid attribute '#{col}' in filter")
232       end
233     end
234
235     wanted_klasses = []
236     request_filters.each do |col,op,val|
237       if op == 'is_a'
238         (val.is_a?(Array) ? val : [val]).each do |type|
239           type = type.split('#')[-1]
240           type[0] = type[0].capitalize
241           wanted_klasses << type
242         end
243       end
244     end
245
246     filter_by_owner = {}
247     if @object
248       if params['recursive']
249         filter_by_owner[:owner_uuid] = [@object.uuid] + @object.descendant_project_uuids
250       else
251         filter_by_owner[:owner_uuid] = @object.uuid
252       end
253
254       if params['exclude_home_project']
255         raise ArgumentError.new "Cannot use 'exclude_home_project' with a parent object"
256       end
257     end
258
259     # Check that any fields in @select are valid for at least one class
260     if @select
261       all_attributes = []
262       klasses.each do |klass|
263         all_attributes.concat klass.selectable_attributes
264       end
265       @select.each do |check|
266         if !all_attributes.include? check
267           raise ArgumentError.new "Invalid attribute '#{check}' in select"
268         end
269       end
270     end
271     any_selections = @select
272
273     included_by_uuid = {}
274
275     seen_last_class = false
276     error_by_class = {}
277     any_success = false
278
279     klasses.each do |klass|
280       # check if current klass is same as params['last_object_class']
281       seen_last_class = true if((params['count'].andand.==('none')) and
282                                 (params['last_object_class'].nil? or
283                                  params['last_object_class'].empty? or
284                                  params['last_object_class'] == klass.to_s))
285
286       # if klasses are specified, skip all other klass types
287       next if wanted_klasses.any? and !wanted_klasses.include?(klass.to_s)
288
289       # if specified, and count=none, then only look at the klass in
290       # last_object_class.
291       # for whatever reason, this parameter exists separately from 'wanted_klasses'
292       next if params['count'] == 'none' and !seen_last_class
293
294       # don't process rest of object types if we already have needed number of objects
295       break if params['count'] == 'none' and all_objects.size >= limit_all
296
297       # If the currently requested orders specifically match the
298       # table_name for the current klass, apply that order.
299       # Otherwise, order by recency.
300       request_order =
301         request_orders.andand.find { |r| r =~ /^#{klass.table_name}\./i || r !~ /\./ } ||
302         klass.default_orders.join(", ")
303
304       @select = select_for_klass any_selections, klass, false
305
306       where_conds = filter_by_owner
307       if klass == Collection && @select.nil?
308         @select = klass.selectable_attributes - ["manifest_text", "unsigned_manifest_text"]
309       elsif klass == Group
310         where_conds = where_conds.merge(group_class: ["project","filter"])
311       end
312
313       # Make signed manifest_text not selectable because controller
314       # currently doesn't know to sign it.
315       if @select
316         @select = @select - ["manifest_text"]
317       end
318
319       @filters = request_filters.map do |col, op, val|
320         if !col.index('.')
321           [col, op, val]
322         elsif (col = col.split('.', 2))[0] == klass.table_name
323           [col[1], op, val]
324         else
325           nil
326         end
327       end.compact
328
329       @objects = klass.readable_by(*@read_users, {
330           :include_trash => params[:include_trash],
331           :include_old_versions => params[:include_old_versions]
332         }).order(request_order).where(where_conds)
333
334       if params['exclude_home_project']
335         @objects = exclude_home @objects, klass
336       end
337
338       # Adjust the limit based on number of objects fetched so far
339       klass_limit = limit_all - all_objects.count
340       @limit = klass_limit
341
342       begin
343         apply_where_limit_order_params klass
344       rescue ArgumentError => e
345         if e.inspect =~ /Invalid attribute '.+' for operator '.+' in filter/ or
346           e.inspect =~ /Invalid attribute '.+' for subproperty filter/
347           error_by_class[klass.name] = e
348           next
349         end
350         raise
351       else
352         any_success = true
353       end
354
355       # This actually fetches the objects
356       klass_object_list = object_list(model_class: klass)
357
358       # If count=none, :items_available will be nil, and offset is
359       # required to be 0.
360       klass_items_available = klass_object_list[:items_available] || 0
361       @items_available += klass_items_available
362       @offset = [@offset - klass_items_available, 0].max
363
364       # Add objects to the list of objects to be returned.
365       all_objects += klass_object_list[:items]
366
367       if klass_object_list[:limit] < klass_limit
368         # object_list() had to reduce @limit to comply with
369         # max_index_database_read. From now on, we'll do all queries
370         # with limit=0 and just accumulate items_available.
371         limit_all = all_objects.count
372       end
373
374       if params["include"] == "owner_uuid"
375         owners = klass_object_list[:items].map {|i| i[:owner_uuid]}.to_set
376         [Group, User].each do |ownerklass|
377           ownerklass.readable_by(*@read_users).where(uuid: owners.to_a).each do |ow|
378             included_by_uuid[ow.uuid] = ow
379           end
380         end
381       end
382     end
383
384     # Only error out when every searchable object type errored out
385     if !any_success && error_by_class.size > 0
386       error_msg = error_by_class.collect do |klass, err|
387         "#{err} on object type #{klass}"
388       end.join("\n")
389       raise ArgumentError.new(error_msg)
390     end
391
392     if params["include"]
393       @extra_included = included_by_uuid.values
394     end
395
396     if set_count_none
397       params['count'] = 'none'
398     end
399
400     @objects = all_objects
401     @limit = limit_all
402     @offset = offset_all
403   end
404
405   def exclude_home objectlist, klass
406     # select records that are readable by current user AND
407     #   the owner_uuid is a user (but not the current user) OR
408     #   the owner_uuid is not readable by the current user
409     #   the owner_uuid is a group but group_class is not a project
410
411     read_parent_check = if current_user.is_admin
412                           ""
413                         else
414                           "NOT EXISTS(SELECT 1 FROM #{PERMISSION_VIEW} WHERE "+
415                             "user_uuid=(:user_uuid) AND target_uuid=#{klass.table_name}.owner_uuid AND perm_level >= 1) OR "
416                         end
417
418     objectlist.where("#{klass.table_name}.owner_uuid IN (SELECT users.uuid FROM users WHERE users.uuid != (:user_uuid)) OR "+
419                      read_parent_check+
420                      "EXISTS(SELECT 1 FROM groups as gp where gp.uuid=#{klass.table_name}.owner_uuid and gp.group_class != 'project')",
421                      user_uuid: current_user.uuid)
422   end
423
424 end