3036: Fix merge conflicts.  One python sdk test still fails.

Merge branch 'master' into 3036-collection-uuids

Conflicts:
sdk/python/arvados/commands/put.py
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/app/models/arvados_model.rb
services/api/test/fixtures/groups.yml
services/api/test/fixtures/links.yml

Merge branch '3171-group-membership' refs #3171

3171: Merge branch 'master' into 3171-group-membership

Conflicts:
services/api/test/fixtures/links.yml

Merge branch '3448-keep-put-timestamps'

Closes #3448.

Do not blow up in crunch-dispatch.rb: do not pass --jobs and --pipelines
arguments to Rails.

no issue #

Do not blow up in crunch-dispatch: fix syntax error. Ouch.

no issue #

3448: update tests with "untouchable" volumes

Added a "Touchable" flag to MockVolume, so that we can test that
PutBlock does the right thing when Touch fails.  Previous code was using
volume.Bad as an attempt to test this, but that short-circuited the Put
request before it ever attempted to call Touch.

Added TODOs with more testing improvements we can make as time permits.

Merge branch 'multiple-dispatch' no issue #

crunch-dispatch can run --jobs, --pipelines, or both.

With new apiserver, after upload, arv-put prints portable data hash instead of
collection uuid for compatibility with crunch.  refs #3504

closes #3153
Merge branch '3153-auto-setup-user'

3153: update the newly added vm login link to not point to the "active" user

closes #3153
Merge branch '3153-auto-setup-user'

Merge branch 'master' into 3153-auto-setup-user

Fix user agreements page when no signatures needed. Add tests. No issue #

Fix disabled Continue button on user agreements page. No issue #

Merge branch 'master' into 3153-auto-setup-user

3153: minor test updates: rename the variable "active_recipients" as "new_user_recipients" to ensure test readability.

3153: update tests to look for new user created message also when an inactive user is being created.

3153: when new_users_are_active config param is set, even blacklisted users will be "active", and hence the email notification would say the user is setup when auto_setup_new_users is set.

Merge branch '3153-auto-setup-tests' into 3153-auto-setup-user

3153: change variable name in test from valid_username to ok_to_auto_setup

3153: directly invoke setup method during auto-setup

3153: Add integration tests.

Accomodate otherwise valid user-supplied portable data hashes with no size
hint, as provided by crunch.

Merge branch 'master' into 3036-collection-uuids

Reject empty fields in job creation filters. no issue #

closes #3183
Merge branch '3188-remove-selected-button'

Merge branch 'master' into 3188-remove-selected-button

3153: fix the while loop logic.

Improve error checking a bit on find_commit_range for bad revisions and missing
repositories.  no issue #

Display first file in collection if name field is nil or empty. refs #3504

Change 'expire_time' column to 'expires_at' for consistency with other date
columns.

Display first file in collection if name field is nil or empty. refs #3504

3448: unit tests, bug fixes

UnixVolume.Delete tests the return status of lockfile (oops, left out of
previous commit)

New unit/integration tests:

* TestPutTouch (volume_unix_test.go): issues a volume.Put for a block
  that already exists, and confirms that the mtime of the existing block
  is updated.

* TestPutBlockTouchFails (keepstore_test.go): issues PutBlock for a
  block that already exists but cannot be modified, confirms that the
  mtime on the old block is unchanged and that a new copy has been
  stored.

Added a volume.Mtime() method to return the block mtime, to assist in
testing.

Merge branch 'master' into 3036-collection-uuids

3171: Do not use select param for database lookup during create/destroy actions.

3171: Skip find_object_by_uuid during :create action.

3171: Add fixtures to make Workbench tests pass under new permission rules.

3036: Move manifest_text validation into Collection model.  Change
uuids_for_docker_image to find_all_for_docker_image which returns Collection
objects instead of uuids.  Remove unused stripped_portable_data_hash helper.
Improved error messages.  Tests pass.

3153: when exsiting repository name or vm login link is used as username, assert the generated unique username starts with the given username and ends with a number.

3153: when deriving unique name, look for all can_login links, not just the vm_uuid configured. update tests to assert the generated username ends with a number when using a preconfigured username for this link.

Merge branch 'master' into 3153-auto-setup-user

Merge branch '3504-clients-compatible-with-3036' refs #3504

Merge remote-tracking branch 'remotes/origin/3504-clients-compatible-with-3036' into 3036-collection-uuids

Conflicts:
apps/workbench/app/views/projects/_show_contents_rows.html.erb

3036: Always select "id" column unless distinct = true.  Include uuid =
portable_data_hash when requesting collection by uuid.  Changed test fixture
"owned_by_aproject_with_no_name" to be a "human" instead of a "specimen"
because the human table has a "name" column required by projects_test.

3504: Don't create stand-in "name" links for post #3036 apiserver

3504: Support copy and moving collections on new apiserver

3504: Don't create stand-in "name" links for post #3036 apiserver

3504: Back out tags on project rows.  Revisit in a later story.

3171: Update tests to conform to new permission behavior.

Obey "select" parameter during #show too, not just #index.

3171: Do not follow permission graph through a User, unless permission on the User is can_manage. Restore usual permission model to user lookups. Add tests.

3171: Outdent giant "if ... else return self" construct.

3448: add error checking in volume.Touch()

Add error checking that was erroneously left out of previous commit.

Refs #3448.

3153: trailing white space

3153: return nil if no unique username can be derived from an email address. no setup will happen in that case.

3036: Most workbench tests pass.

3504: Support copy and moving collections on new apiserver

3448: add error checking

Code review comments in https://arvados.org/issues/3448#note-9

* volume.Touch() must fail if the file cannot be locked
* if volume.Touch() fails, continue looking for other volumes that can
  fulfill the request.

Refs #3448.

3448: unit tests for deleting new blocks

Added cases to TestDeleteHandler to test that blocks newer than
-permission_ttl will not be removed from the volume even if
volume.Delete() returned true.

Refs #3448.

3448: code review comments.

Extend GetBlock() to optionally update the file modification time, so
PUT operations can update the timestamp of an existing block.

UnixVolume.Delete() returns nil if the file is too new to delete (the
reasoning here is that this is the correct thing for the server to do,
even if the result technically does not fulfill the user's request, so
the server should return success).

Refs #3448.

3153: use loop with counter than while(true) to derive unique username

3504: Remove link to links index page on tags.  Add comment to
CollectionsController#choose.  Adjust column width in collections file table.

3504: Remove link to links index page on tags.  Add comment to
CollectionsController#choose.  Adjust column width in collections file table.

3153: update tests to check for existing repo name

3504: Don't set owner_uuid redundantly.

3036: Use preload_objects to fetch owner_uuids in the controller instead of in the view.

3036: Use preload_objects to fetch owner_uuids in the controller instead of in the view.

3448: minor bugfixes

Refs #3448.

3171: Add tests for desired behavior. Start using FactoryGirl.

3153: username regexp is updated

3448: check block timestamp before DELETE

volume.Delete locks the target file and checks the timestamp before
proceeding. If the file is newer than permission_ttl specifies, return a
PermissionError. This way, a block that has been marked for recycling by
Data Manager but subsequently was re-added by a user will not be
prematurely deleted.

PutBlock now updates the timestamp on the target block if it already
exists on disk, to prevent DELETE from recycling old blocks that have
just been refreshed.

To update block timestamps, the blob server uses the new volume.Touch
method.  MockVolume and UnixVolume have been updated appropriately.

Refs #3448.

Be smarter about cleanup in crunch-job after a job finishes. This should
resolve the problem of the many leftover stale mount points.

no issue #

Merge branch 'master' into 3153-auto-setup-user

3153: update regexp, email message

Merge remote-tracking branch 'refs/remotes/origin/3504-clients-compatible-with-3036' into 3036-collection-uuids

Conflicts:
sdk/python/arvados/commands/put.py
sdk/python/tests/test_arv_put.py

3504: Set owner_uuid when creating collection (will set owner_uuid of name link
on old apiserver, and set owner of collection object directly on new
apiserver.)

3504: Set the capybara driver explicitly so tests pass again.

Merge remote-tracking branch 'origin/master' into 3504-clients-compatible-with-3036

3504: Fixed preload_links_for_objects to use @objects.to_a.  Fix collections
page to restore link names.  Remove obsolete tests for "persist" button.  Tweak
pipeline instance tests.

Merge branch 'master' into 3153-auto-setup-user

3504: Use preload_links_for_objects in projects_controller.  Use
self[:portable_data_hash] in collection.rb to avoid recursive definition of
.uuid and .portable_data_hash.  Revert change to show_attributes.  Removed
column from collections show_recent.  Reverted python tests to correspond to
behavior of pre-3036 API server so test pass.

Fix run_test_server Keep blob filename handling.

No issue #.

3504: CollectionReader accepts arvados object collection uuids.  'arv-put' sets
owner_uuid when collection is created.  Fixed indentation.

3036: Fix arv-put to write name/owner of collections object directly when
'name' field is present on the returned object.  Python SDK tests pass.

3036: Commented out failing FUSE tests.  Fixed uuids on fixtures to use zzzzz
prefix.  Made events.py less noisy.

2800: run_test_server only uses tests/tmp for real Python tests.

tests/tmp is not available for Go tests.
This fixes a bug introduced in da01d7e1.
No issue #.

Update "standard objects" page to reflect change from keep_disks to
keep_services, and add some sanity checks. No issue #

Add libpcre3-dev dependency. Sort package names in apt-get install command.

No issue #

Merge branch 'master' into 3153-auto-setup-user

3153: update the new user email to include a phrase saying the user is setup when config is on.

2800: Delay API client creation in Python CollectionReader.

This more closely matches prior behavior, and is necessary to make the
Keep tests pass.  See included comments for detailed rationale.
Refs #2800.

Treat success=true exitcode!=0 as success when collating output,
just like we did when we decided the task completed. No issue #

3153: tests with duplicate username

Merge branch '2800-pysdk-no-global-keep-client-wip'

Closes #2800, #3639.

2800: Use local KeepClients in Python SDK tests.

This improves test isolation, and demonstrates the preferred way to
use the API.

2800: Introduce TestCaseWithServers to Python SDK.

This is a subclass of unittest.TestCase.  It looks for specific class
variables to launch supporting Arvados servers for subclass test
cases, taking care to adjust the environment and local Arvados
configuration to match.  Put another away, this refactors a number of
similar setUpClass/tearDownClass methods throughout the SDK tests.

2800: Make run_test_server put Keep tempfiles in tests/tmp/.

2800: Use dedicated logger in Python SDK api module.