3342: Fixing outputs

3342: Removing remaining traces of output_is_persistent.  Added code in
arv-run-pipeline-instance to create collections owned by appropriate project.

3342: Migration to remove obsolete output_is_persistent column from jobs.

Fixed missing import in robust_put.  no issue #

Merge branch '3136-stale-pipeline-instance-display' closes #3136

Merge branch '3147-pysdk-retries'

Closes #3147.

3147: Fix unwanted integer division in KeepClient logs.

3147: Add retry support to Python SDK's KeepClient.

3147: Remove old Keep signing support from Python SDK.

Per Tom.

3147: Add check_http_response_success to Python SDK.

Other parts of the SDK need to end loops based on the result of an
HTTP request.  This function puts that logic in one place.

3147: Add RetryLoop to the Python SDK.

This provides a general-purpose mechanism for us to retry all kinds of
operations.

3147: Move fake Python HTTP response generation to arvados_testutil.

Other tests can use this functionality.

3136: Use map to correctly get the list of uuids.  Check that there is a job
record before trying to use it.

Fix test. refs #3149

Fix migration and api templates that rely on changes that did not end up happening. refs #3036

Merge branch '3149-server-side-search' closes #3149

3149: Merge branch 'master' into 3149-server-side-search

Set up arvados env vars when running arv-normalize. No issue #

Merge branch '3036-collection-uuids' closes #3036

Merge branch 'master' into 3036-collection-uuids

Conflicts:
services/api/test/fixtures/groups.yml

3036: Fix merge conflicts.  One python sdk test still fails.

Move styles out of tab partial. No issue #

Propagate query params to tab panes. No issue #

Remove uuid-guessing code from "combine selected files". refs #3504

Do not blow up in install stage when TASK_WORK is not set. No issue #

Do not blow up when tmp directory already exists. No issue #

3149: Clarify comments. Stick with a-b-c data keys where possible;
when not possible, explain why not.

Merge branch '3149-filter-any' refs #3149

3149: Explain what "any" does as a filter attribute.

Fix test fixtures breaking Workbench tests. refs #3171

Do not blow up when stdout!=subprocess.PIPE. no issue #

Merge branch '3660-project-editable' closes #3660

3660: Clarify self-contradicting comment.

Update Gemfile.lock. refs #3405

Merge branch '3171-admin-groups' closes #3171

Instead of munging TASK_WORK var, mkdir -p it (and therefore JOB_WORK)
in setup script.

Without this, scripts that write to arvados.current_job().tmpdir
(i.e., JOB_WORK) fail.

No issue #

Do not blow up with pipeline has a plain value in a script_parameter. No issue #

Merge branch 'master' into 3036-collection-uuids

Conflicts:
sdk/python/arvados/commands/put.py
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/app/models/arvados_model.rb
services/api/test/fixtures/groups.yml
services/api/test/fixtures/links.yml

Merge branch '3171-group-membership' refs #3171

3171: Merge branch 'master' into 3171-group-membership

Conflicts:
services/api/test/fixtures/links.yml

3171: Fix wording, update docs.

Merge branch '3448-keep-put-timestamps'

Closes #3448.

Do not blow up in crunch-dispatch.rb: do not pass --jobs and --pipelines
arguments to Rails.

no issue #

Do not blow up in crunch-dispatch: fix syntax error. Ouch.

no issue #

3448: update tests with "untouchable" volumes

Added a "Touchable" flag to MockVolume, so that we can test that
PutBlock does the right thing when Touch fails.  Previous code was using
volume.Bad as an attempt to test this, but that short-circuited the Put
request before it ever attempted to call Touch.

Added TODOs with more testing improvements we can make as time permits.

Merge branch 'multiple-dispatch' no issue #

crunch-dispatch can run --jobs, --pipelines, or both.

3136: Fetch actual job objects for use in rendering pipeline jobs.

With new apiserver, after upload, arv-put prints portable data hash instead of
collection uuid for compatibility with crunch.  refs #3504

3149: Propagate filters from remote->dialog->infinite. Fix tests.

3149: Do not blow up on small devices/windows.

3149: Do not preload results in search dialog. Let infinite scroll do it.

3149: Fix infinite scroll not updating after retry/refresh.

3149: Fix user-controlled filters overwriting page-controlled filters.

3149: Let Workbench server do all the filtering where infinite-scroll facilities exist.

3149: Propagate search string to Workbench server using filters param.

3149: Untabify.

3149: Fix operator precedence in SQL statements built from record_filters.

3149: Support "ilike" operator in record_filters.

3149: Support "any" and array in filter "column" element.

closes #3153
Merge branch '3153-auto-setup-user'

3153: update the newly added vm login link to not point to the "active" user

closes #3153
Merge branch '3153-auto-setup-user'

Merge branch 'master' into 3153-auto-setup-user

Fix user agreements page when no signatures needed. Add tests. No issue #

Fix disabled Continue button on user agreements page. No issue #

3660: Show add/run buttons if project is writable.

Hide move/delete buttons if move is impossible.

3171: Add administrator UI for toggling user<->role permissions.

Merge branch 'master' into 3153-auto-setup-user

3153: minor test updates: rename the variable "active_recipients" as "new_user_recipients" to ensure test readability.

3153: update tests to look for new user created message also when an inactive user is being created.

3153: when new_users_are_active config param is set, even blacklisted users will be "active", and hence the email notification would say the user is setup when auto_setup_new_users is set.

Merge branch '3153-auto-setup-tests' into 3153-auto-setup-user

3153: change variable name in test from valid_username to ok_to_auto_setup

3153: directly invoke setup method during auto-setup

3153: Add integration tests.

Accomodate otherwise valid user-supplied portable data hashes with no size
hint, as provided by crunch.

Merge branch 'master' into 3036-collection-uuids

Reject empty fields in job creation filters. no issue #

closes #3183
Merge branch '3188-remove-selected-button'

Merge branch 'master' into 3188-remove-selected-button

3153: fix the while loop logic.

Improve error checking a bit on find_commit_range for bad revisions and missing
repositories.  no issue #

Display first file in collection if name field is nil or empty. refs #3504

Change 'expire_time' column to 'expires_at' for consistency with other date
columns.

Display first file in collection if name field is nil or empty. refs #3504

3448: unit tests, bug fixes

UnixVolume.Delete tests the return status of lockfile (oops, left out of
previous commit)

New unit/integration tests:

* TestPutTouch (volume_unix_test.go): issues a volume.Put for a block
  that already exists, and confirms that the mtime of the existing block
  is updated.

* TestPutBlockTouchFails (keepstore_test.go): issues PutBlock for a
  block that already exists but cannot be modified, confirms that the
  mtime on the old block is unchanged and that a new copy has been
  stored.

Added a volume.Mtime() method to return the block mtime, to assist in
testing.

Merge branch 'master' into 3036-collection-uuids

3171: Do not use select param for database lookup during create/destroy actions.

3171: Skip find_object_by_uuid during :create action.

3171: Add fixtures to make Workbench tests pass under new permission rules.

3036: Move manifest_text validation into Collection model.  Change
uuids_for_docker_image to find_all_for_docker_image which returns Collection
objects instead of uuids.  Remove unused stripped_portable_data_hash helper.
Improved error messages.  Tests pass.

3153: when exsiting repository name or vm login link is used as username, assert the generated unique username starts with the given username and ends with a number.

3153: when deriving unique name, look for all can_login links, not just the vm_uuid configured. update tests to assert the generated username ends with a number when using a preconfigured username for this link.

Merge branch 'master' into 3153-auto-setup-user

Merge branch '3504-clients-compatible-with-3036' refs #3504

Merge remote-tracking branch 'remotes/origin/3504-clients-compatible-with-3036' into 3036-collection-uuids

Conflicts:
apps/workbench/app/views/projects/_show_contents_rows.html.erb

3036: Always select "id" column unless distinct = true.  Include uuid =
portable_data_hash when requesting collection by uuid.  Changed test fixture
"owned_by_aproject_with_no_name" to be a "human" instead of a "specimen"
because the human table has a "name" column required by projects_test.

3504: Don't create stand-in "name" links for post #3036 apiserver

3504: Support copy and moving collections on new apiserver