Merge remote-tracking branch 'origin/master' into 14645-fuse-operations-reporting
[arvados.git] / services / api / test / integration / collections_api_test.rb
1 # Copyright (C) The Arvados Authors. All rights reserved.
2 #
3 # SPDX-License-Identifier: AGPL-3.0
4
5 require 'test_helper'
6
7 class CollectionsApiTest < ActionDispatch::IntegrationTest
8   fixtures :all
9
10   test "should get index" do
11     get "/arvados/v1/collections", {:format => :json}, auth(:active)
12     assert_response :success
13     assert_equal "arvados#collectionList", json_response['kind']
14   end
15
16   test "get index with filters= (empty string)" do
17     get "/arvados/v1/collections", {:format => :json, :filters => ''}, auth(:active)
18     assert_response :success
19     assert_equal "arvados#collectionList", json_response['kind']
20   end
21
22   test "get index with invalid filters (array of strings) responds 422" do
23     get "/arvados/v1/collections", {
24       :format => :json,
25       :filters => ['uuid', '=', 'ad02e37b6a7f45bbe2ead3c29a109b8a+54'].to_json
26     }, auth(:active)
27     assert_response 422
28     assert_match(/nvalid element.*not an array/, json_response['errors'].join(' '))
29   end
30
31   test "get index with invalid filters (unsearchable column) responds 422" do
32     get "/arvados/v1/collections", {
33       :format => :json,
34       :filters => [['this_column_does_not_exist', '=', 'bogus']].to_json
35     }, auth(:active)
36     assert_response 422
37     assert_match(/nvalid attribute/, json_response['errors'].join(' '))
38   end
39
40   test "get index with invalid filters (invalid operator) responds 422" do
41     get "/arvados/v1/collections", {
42       :format => :json,
43       :filters => [['uuid', ':-(', 'displeased']].to_json
44     }, auth(:active)
45     assert_response 422
46     assert_match(/nvalid operator/, json_response['errors'].join(' '))
47   end
48
49   test "get index with invalid filters (invalid operand type) responds 422" do
50     get "/arvados/v1/collections", {
51       :format => :json,
52       :filters => [['uuid', '=', {foo: 'bar'}]].to_json
53     }, auth(:active)
54     assert_response 422
55     assert_match(/nvalid operand type/, json_response['errors'].join(' '))
56   end
57
58   test "get index with where= (empty string)" do
59     get "/arvados/v1/collections", {:format => :json, :where => ''}, auth(:active)
60     assert_response :success
61     assert_equal "arvados#collectionList", json_response['kind']
62   end
63
64   test "get index with select= (valid attribute)" do
65     get "/arvados/v1/collections", {
66           :format => :json,
67           :select => ['portable_data_hash'].to_json
68         }, auth(:active)
69     assert_response :success
70     assert json_response['items'][0].keys.include?('portable_data_hash')
71     assert not(json_response['items'][0].keys.include?('uuid'))
72   end
73
74   test "get index with select= (invalid attribute) responds 422" do
75     get "/arvados/v1/collections", {
76           :format => :json,
77           :select => ['bogus'].to_json
78         }, auth(:active)
79     assert_response 422
80     assert_match(/Invalid attribute.*bogus/, json_response['errors'].join(' '))
81   end
82
83   test "get index with select= (invalid attribute type) responds 422" do
84     get "/arvados/v1/collections", {
85           :format => :json,
86           :select => [['bogus']].to_json
87         }, auth(:active)
88     assert_response 422
89     assert_match(/Invalid attribute.*bogus/, json_response['errors'].join(' '))
90   end
91
92   test "controller 404 response is json" do
93     get "/arvados/v1/thingsthatdonotexist", {:format => :xml}, auth(:active)
94     assert_response 404
95     assert_equal 1, json_response['errors'].length
96     assert_equal true, json_response['errors'][0].is_a?(String)
97   end
98
99   test "object 404 response is json" do
100     get "/arvados/v1/groups/zzzzz-j7d0g-o5ba971173cup4f", {}, auth(:active)
101     assert_response 404
102     assert_equal 1, json_response['errors'].length
103     assert_equal true, json_response['errors'][0].is_a?(String)
104   end
105
106   test "store collection as json" do
107     signing_opts = {
108       key: Rails.configuration.blob_signing_key,
109       api_token: api_token(:active),
110     }
111     signed_locator = Blob.sign_locator('bad42fa702ae3ea7d888fef11b46f450+44',
112                                        signing_opts)
113     post "/arvados/v1/collections", {
114       format: :json,
115       collection: "{\"manifest_text\":\". #{signed_locator} 0:44:md5sum.txt\\n\",\"portable_data_hash\":\"ad02e37b6a7f45bbe2ead3c29a109b8a+54\"}"
116     }, auth(:active)
117     assert_response 200
118     assert_equal 'ad02e37b6a7f45bbe2ead3c29a109b8a+54', json_response['portable_data_hash']
119   end
120
121   test "store collection with manifest_text only" do
122     signing_opts = {
123       key: Rails.configuration.blob_signing_key,
124       api_token: api_token(:active),
125     }
126     signed_locator = Blob.sign_locator('bad42fa702ae3ea7d888fef11b46f450+44',
127                                        signing_opts)
128     post "/arvados/v1/collections", {
129       format: :json,
130       collection: "{\"manifest_text\":\". #{signed_locator} 0:44:md5sum.txt\\n\"}"
131     }, auth(:active)
132     assert_response 200
133     assert_equal 'ad02e37b6a7f45bbe2ead3c29a109b8a+54', json_response['portable_data_hash']
134   end
135
136   test "store collection then update name" do
137     signing_opts = {
138       key: Rails.configuration.blob_signing_key,
139       api_token: api_token(:active),
140     }
141     signed_locator = Blob.sign_locator('bad42fa702ae3ea7d888fef11b46f450+44',
142                                        signing_opts)
143     post "/arvados/v1/collections", {
144       format: :json,
145       collection: "{\"manifest_text\":\". #{signed_locator} 0:44:md5sum.txt\\n\",\"portable_data_hash\":\"ad02e37b6a7f45bbe2ead3c29a109b8a+54\"}"
146     }, auth(:active)
147     assert_response 200
148     assert_equal 'ad02e37b6a7f45bbe2ead3c29a109b8a+54', json_response['portable_data_hash']
149
150     put "/arvados/v1/collections/#{json_response['uuid']}", {
151       format: :json,
152       collection: { name: "a name" }
153     }, auth(:active)
154
155     assert_response 200
156     assert_equal 'ad02e37b6a7f45bbe2ead3c29a109b8a+54', json_response['portable_data_hash']
157     assert_equal 'a name', json_response['name']
158
159     get "/arvados/v1/collections/#{json_response['uuid']}", {
160       format: :json,
161     }, auth(:active)
162
163     assert_response 200
164     assert_equal 'ad02e37b6a7f45bbe2ead3c29a109b8a+54', json_response['portable_data_hash']
165     assert_equal 'a name', json_response['name']
166   end
167
168   test "update description for a collection, and search for that description" do
169     collection = collections(:multilevel_collection_1)
170
171     # update collection's description
172     put "/arvados/v1/collections/#{collection['uuid']}", {
173       format: :json,
174       collection: { description: "something specific" }
175     }, auth(:active)
176     assert_response :success
177     assert_equal 'something specific', json_response['description']
178
179     # get the collection and verify newly added description
180     get "/arvados/v1/collections/#{collection['uuid']}", {
181       format: :json,
182     }, auth(:active)
183     assert_response 200
184     assert_equal 'something specific', json_response['description']
185
186     # search
187     search_using_filter 'specific', 1
188     search_using_filter 'not specific enough', 0
189   end
190
191   test "create collection, update manifest, and search with filename" do
192     # create collection
193     signed_manifest = Collection.sign_manifest(". bad42fa702ae3ea7d888fef11b46f450+44 0:44:my_test_file.txt\n", api_token(:active))
194     post "/arvados/v1/collections", {
195       format: :json,
196       collection: {manifest_text: signed_manifest}.to_json,
197     }, auth(:active)
198     assert_response :success
199     assert_equal true, json_response['manifest_text'].include?('my_test_file.txt')
200     assert_includes json_response['manifest_text'], 'my_test_file.txt'
201
202     created = json_response
203
204     # search using the filename
205     search_using_filter 'my_test_file.txt', 1
206
207     # update the collection's manifest text
208     signed_manifest = Collection.sign_manifest(". bad42fa702ae3ea7d888fef11b46f450+44 0:44:my_updated_test_file.txt\n", api_token(:active))
209     put "/arvados/v1/collections/#{created['uuid']}", {
210       format: :json,
211       collection: {manifest_text: signed_manifest}.to_json,
212     }, auth(:active)
213     assert_response :success
214     assert_equal created['uuid'], json_response['uuid']
215     assert_includes json_response['manifest_text'], 'my_updated_test_file.txt'
216     assert_not_includes json_response['manifest_text'], 'my_test_file.txt'
217
218     # search using the new filename
219     search_using_filter 'my_updated_test_file.txt', 1
220     search_using_filter 'my_test_file.txt', 0
221     search_using_filter 'there_is_no_such_file.txt', 0
222   end
223
224   def search_using_filter search_filter, expected_items
225     get '/arvados/v1/collections', {
226       :filters => [['any', 'ilike', "%#{search_filter}%"]].to_json
227     }, auth(:active)
228     assert_response :success
229     response_items = json_response['items']
230     assert_not_nil response_items
231     if expected_items == 0
232       assert_empty response_items
233     else
234       refute_empty response_items
235       first_item = response_items.first
236       assert_not_nil first_item
237     end
238   end
239
240   test "search collection using full text search" do
241     # create collection to be searched for
242     signed_manifest = Collection.sign_manifest(". 85877ca2d7e05498dd3d109baf2df106+95+A3a4e26a366ee7e4ed3e476ccf05354761be2e4ae@545a9920 0:95:file_in_subdir1\n./subdir2/subdir3 2bbc341c702df4d8f42ec31f16c10120+64+A315d7e7bad2ce937e711fc454fae2d1194d14d64@545a9920 0:32:file1_in_subdir3.txt 32:32:file2_in_subdir3.txt\n./subdir2/subdir3/subdir4 2bbc341c702df4d8f42ec31f16c10120+64+A315d7e7bad2ce937e711fc454fae2d1194d14d64@545a9920 0:32:file3_in_subdir4.txt 32:32:file4_in_subdir4.txt\n", api_token(:active))
243     post "/arvados/v1/collections", {
244       format: :json,
245       collection: {description: 'specific collection description', manifest_text: signed_manifest}.to_json,
246     }, auth(:active)
247     assert_response :success
248     assert_equal true, json_response['manifest_text'].include?('file4_in_subdir4.txt')
249
250     # search using the filename
251     search_using_full_text_search 'subdir2', 0
252     search_using_full_text_search 'subdir2:*', 1
253     search_using_full_text_search 'subdir2/subdir3/subdir4', 1
254     search_using_full_text_search 'file4:*', 1
255     search_using_full_text_search 'file4_in_subdir4.txt', 1
256     search_using_full_text_search 'subdir2 file4:*', 0      # first word is incomplete
257     search_using_full_text_search 'subdir2/subdir3/subdir4 file4:*', 1
258     search_using_full_text_search 'subdir2/subdir3/subdir4 file4_in_subdir4.txt', 1
259     search_using_full_text_search 'ile4', 0                 # not a prefix match
260   end
261
262   def search_using_full_text_search search_filter, expected_items
263     get '/arvados/v1/collections', {
264       :filters => [['any', '@@', search_filter]].to_json
265     }, auth(:active)
266     assert_response :success
267     response_items = json_response['items']
268     assert_not_nil response_items
269     if expected_items == 0
270       assert_empty response_items
271     else
272       refute_empty response_items
273       first_item = response_items.first
274       assert_not_nil first_item
275     end
276   end
277
278   # search for the filename in the file_names column and expect error
279   test "full text search not supported for individual columns" do
280     get '/arvados/v1/collections', {
281       :filters => [['name', '@@', 'General']].to_json
282     }, auth(:active)
283     assert_response 422
284   end
285
286   [
287     'quick fox',
288     'quick_brown fox',
289     'brown_ fox',
290     'fox dogs',
291   ].each do |search_filter|
292     test "full text search ignores special characters and finds with filter #{search_filter}" do
293       # description: The quick_brown_fox jumps over the lazy_dog
294       # full text search treats '_' as space apparently
295       get '/arvados/v1/collections', {
296         :filters => [['any', '@@', search_filter]].to_json
297       }, auth(:active)
298       assert_response 200
299       response_items = json_response['items']
300       assert_not_nil response_items
301       first_item = response_items.first
302       refute_empty first_item
303       assert_equal first_item['description'], 'The quick_brown_fox jumps over the lazy_dog'
304     end
305   end
306
307   test "create and get collection with properties" do
308     # create collection to be searched for
309     signed_manifest = Collection.sign_manifest(". bad42fa702ae3ea7d888fef11b46f450+44 0:44:my_test_file.txt\n", api_token(:active))
310     post "/arvados/v1/collections", {
311       format: :json,
312       collection: {manifest_text: signed_manifest}.to_json,
313     }, auth(:active)
314     assert_response 200
315     assert_not_nil json_response['uuid']
316     assert_not_nil json_response['properties']
317     assert_empty json_response['properties']
318
319     # update collection's description
320     put "/arvados/v1/collections/#{json_response['uuid']}", {
321       format: :json,
322       collection: { properties: {'property_1' => 'value_1'} }
323     }, auth(:active)
324     assert_response :success
325     assert_equal 'value_1', json_response['properties']['property_1']
326   end
327 end