Merge remote-tracking branch 'refs/remotes/origin/3504-clients-compatible-with-3036' into 3036-collection-uuids

Conflicts:
sdk/python/arvados/commands/put.py
sdk/python/tests/test_arv_put.py

3504: Set the capybara driver explicitly so tests pass again.

Merge remote-tracking branch 'origin/master' into 3504-clients-compatible-with-3036

3504: Fixed preload_links_for_objects to use @objects.to_a.  Fix collections
page to restore link names.  Remove obsolete tests for "persist" button.  Tweak
pipeline instance tests.

3504: Use preload_links_for_objects in projects_controller.  Use
self[:portable_data_hash] in collection.rb to avoid recursive definition of
.uuid and .portable_data_hash.  Revert change to show_attributes.  Removed
column from collections show_recent.  Reverted python tests to correspond to
behavior of pre-3036 API server so test pass.

Fix run_test_server Keep blob filename handling.

No issue #.

3504: CollectionReader accepts arvados object collection uuids.  'arv-put' sets
owner_uuid when collection is created.  Fixed indentation.

3036: Fix arv-put to write name/owner of collections object directly when
'name' field is present on the returned object.  Python SDK tests pass.

3036: Commented out failing FUSE tests.  Fixed uuids on fixtures to use zzzzz
prefix.  Made events.py less noisy.

2800: run_test_server only uses tests/tmp for real Python tests.

tests/tmp is not available for Go tests.
This fixes a bug introduced in da01d7e1.
No issue #.

Update "standard objects" page to reflect change from keep_disks to
keep_services, and add some sanity checks. No issue #

Add libpcre3-dev dependency. Sort package names in apt-get install command.

No issue #

2800: Delay API client creation in Python CollectionReader.

This more closely matches prior behavior, and is necessary to make the
Keep tests pass.  See included comments for detailed rationale.
Refs #2800.

Treat success=true exitcode!=0 as success when collating output,
just like we did when we decided the task completed. No issue #

Merge branch '2800-pysdk-no-global-keep-client-wip'

Closes #2800, #3639.

2800: Use local KeepClients in Python SDK tests.

This improves test isolation, and demonstrates the preferred way to
use the API.

2800: Introduce TestCaseWithServers to Python SDK.

This is a subclass of unittest.TestCase.  It looks for specific class
variables to launch supporting Arvados servers for subclass test
cases, taking care to adjust the environment and local Arvados
configuration to match.  Put another away, this refactors a number of
similar setUpClass/tearDownClass methods throughout the SDK tests.

2800: Make run_test_server put Keep tempfiles in tests/tmp/.

2800: Use dedicated logger in Python SDK api module.

2800: Migrate from Keep to KeepClient in the Python SDK.

2800: Remove global state from KeepClient.

This commit makes it possible to build and use a KeepClient that isn't
influenced by changes in outside state.  Changing the KeepClient based
on global state has been pushed up to the simple Keep class.

This commit changes the tests as little as possible to demonstrate
backward compatibility.  Refactoring the tests to build KeepClients
directly will come in the future.

2800: Improve spec conformance of Python SDK KeepLocator.

* Require size to immediately follow digest.
* Accept all valid hints.

2800: Introduce config.flag_is_true() to Python SDK.

Merge branch '3499-home-project-docs-wip'

Closes #3516.  Refs #3499.

3499: Update Keep tutorial for recent UI changes.

3499: Update pipeline tutorial for recent UI changes.

3499: Improve style consistency throughout docs.

* Capitalize Dashboard.

* Article use: "access Workbench," "access the Dashboard."

* Bold references to Workbench UI elements.

* Make example Arvados environment variables more realistic.

Merge branch '3610-pipeline-log-refresh' closes #3610

3036: Fix arv-put to write name/owner of collections object directly when
'name' field is present on the returned object.  Python SDK tests pass.

3036: Fix #updating collection objects.  Fixed database seed for empty_collection.

3610: Move live log display into its own tab, avoid clobbering with tab reload.

* PipelineInstances#show gets a Log tab dedicated to the live log
  window, rather than hiding it below the components table.

* Jobs#show uses its Log tab to show a live log window (instead of a
  teaser) when the log is not yet finished/written to disk.

* In both cases, the live log window's tab pane intercepts and ignores
  the arv:tab:reload event. (Previously, in addition to appending log
  entries to the live window, websocket events would trigger a
  "refresh all tabs" event, which would blow away the whole log viewer
  anyway.)

* Behave sensibly when multiple lines of stderr arrive in a single
  websocket update event.

* Stop displaying "update {pipeline-uuid}" messages that have no
  additional content.

* Stop scrolling to bottom every time an ajax:complete fires
  somewhere. (Previously, seeing anything above the last page of logs
  was somewhere between annoying and impossible.)

* Make the log window taller.

3036: Fix merge mistakes in collection_controller.

3036: Fixed migration to migrate modified_by_client_uuid and
modified_by_user_uuid (because modified_by isn't a column, whoops).  Also fills
in in useless updated_at column because it has a NOT NULL constraint.

Merge branch 'master' into 3036-collection-uuids

Conflicts:
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/app/models/collection.rb

3036: Updated migration to set modified_at instead of updated_at, added modified_by.

Merge branch 'master' into 3504-clients-compatible-with-3036

3504: Fix collection chooser.  Fix generic link render to use uuid if nothing
else is available.  Fix tags for objects other than collections.

3504: Fix collection page rendering to work with collections as regular uuids.
Render tags onn project page.  Improve helper function for rendering links to
Arvados objects.

Merge branch '3114-copy-to-project' closes #3114

3114: Follow return_to param, if given, when redirecting users#show to projects#show.

Don't redirect non-html requests.

3114: Update test case: searching for own uuid now shows home project.

3114: Merge branch 'master' into 3114-copy-to-project

3593: Add explanatory comment about Workbench's user cache.

Refs #3593.

3114: Fix href in json response for generic #create action too. See 7485476.

Merge branch '2800-pgs' refs #2800

2800: Sort import statements.

Merge branch '3604-theme-and-new-user-process' closes #3604

3036: Ruby style change, use :search_up and :search_down symbols instead of UP and DOWN constants.

2800: Restore deleted comment which is still relevant.

2800: Remove unnecessary sha1. Just use the tuple as an array key.

3604: Remove useless slice.

3604: Remove useless loop.

Do not try to predict uuid of new collection. refs #3261 refs #3504

Do not throw away permission hints when writing data. refs #3261

3036: API server unit tests pass again after adding uniqueness constraints.

3604: Update comment to reflect lack of built-in default.

3604: Remove unused style.

Display progress by default when writing to regular files and stderr isatty. No issue #

Merge branch '3441-python-keep-log-level' refs #3441

3036: Migration will rename rows if necessary to ensure (owner_uuid, name) uniqueness

3604: Fix user deactivation test.

3604: Fix tests, and restore ability to view user agreement before completing profile.

3604: Fix up profile and redirect handling.

3604: Fix user_agreements behavior, update tests to expect redirects.

3604: Add test for redirect to welcome page

3604: Verify permission cache behavior in unsetup test

3604: Remove test for persistent/cache switch on wrong page.

3604: Do not check for notifications if user is not even activated.

3604: Fix stale permission cache by using destroy instead of delete.

3604: Fix theme support for welcome page

3036: Migration adding (owner_uuid, name) uniqueness constraints to
collections, pipeline_templates, pipeline_instances, jobs, groups.

3036: API server tests pass

3441: Change logging level of nonfatal Keep errors to "debug".

2800: Clean up exceptions, variable names, handling of discoveryServiceUrl vs host args.

2800: Merge branch 'master' into 2800-pgs

Merge branch '2800-python-global-state' into 2800-pgs

Conflicts:
sdk/python/arvados/api.py

3036: Restored normalize_collection_uuids removed in 22457e1

3036: Remove include_linked from project contents method because 'name' links
are obsolete.  Remove tests related to include_linked.  Fix docker image lookups.

3036: Test fixing work in progress.

docker: be a bit smarter in the make clean target, so that we also
accomodate diretories underneath the generated directory.

refs #3551

Merge branch '3593-workbench-exception-rendering'

Closes #3593, #3595.

3593: Another round of hardening Workbench's render_exception.

render_exception was counting on session[:user] to help render the
error page.  We recently excised that, which is turning exceptions
into 500s.  This commit restores the session user object, but uses it
only for error rendering, in keeping with the spirit of the previous
revert.  This commit also defends against more possible failure cases
in render_exception, and adds a basic test for it.

gitignore sdk/cli/vendor. refs #3551

Restore trailing newline in manifest format sanity check.

Amends 3cc80b447efcaf416ea4d6857d6d40583e462ff8
No issue #

3036: Adding pre-validation callback to set the portable_data_hash if necessay.
Added validation callback to check that portable_data_hash matches manifest_text.

3036: ensure_owner_uuid_is_permitted checks that owner_uuid is a User or Group.
Added comments on permission logic.

3036: Fixing uuid -> portable_data_hash in collections controller tests.

3036: Remove obsolete 'name' link tests.

3036: Split out logic to determine if a user is actually allowed to set the
uuid into validate_uuid.  Fix docker/collection/job tests to use
portable_data_hash instead of uuid where appropriate.

Merge branch '3551-go-layout' closes #3551

3551: Merge branch 'master' into 3551-go-layout

3036: Removed special case normalize_collection_uuids.  Removed special case
'name' links granting read permission.  Renamed helper function
"collection_uuid" to "stripped_portable_data_hash" and moved to helpers
directory.

3036: Removed special case find_object_by_uuid.  Converted some queries that
interact with jobs to use portable_data_hash instead of uuid.

Merge branch '3505-virtual-work-dir' refs #3505

3036: Removed special case uuid_like_pattern.  Removed special case in
resource_class_for_uuid.  Removed special cases for "name" links.

3036: Removed "add can_read link after creating collection record" logic.

3036: Manually migrated collections and name links on test fixtures.

Merge branch 'master' into 3505-virtual-work-dir

3505: tinker with logging

3505: Fix typo in run-command