Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Shortened date display, put long date view in mouseover text.

Made sizes human readable, added measurement date column.

Story 2352: Adding state and components_summary is completed.

Merge branch 'master' into 2352-phased-pipeline-instance-state

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Security bug fix to act_as_system_user to restore correct user if an
exception is raised.  Also adds tests for act_as_system_user.

Also a minor style cleanup of "== []" to ".empty?" and some additional
checks to test "refuse to activate a user before signing UA".

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Working users/storage page!

Have a new view showing users at /users/storage. No storage info yet, but it's a start.

Improve wording of the welcome e-mail a bit.

User.full_name should not contain just a space when first_name and
last_name are not set.

Add a test for that, too.

Properties should not have symbol keys. Our API runs on JSON, which does
not have symbol keys. We want to be consistent in our use of keys, so we
don't use symbol keys within the API server for object properties.

This fixes pre-authenticating users. Again.

Fix test that was expecting a (now) incorrect number of links.

Set default value for

  I18n.enforce_available_locales

in config/environments/test.rb.example

Merge branch 'master' into 2352-phased-pipeline-instance-state

Use the renamed components_look_ready? method during migration.

Rename is_ready method to components_look_ready? and add additional tests for state change.

Create a can_login link for a new user object, even if there are already
stray can_login link objects for another user object with the same
e-mail address in the database. Add a test for that scenario, too.

Set state during save

2352: Add state to pipeline_instance. Db migration and unit testing.

Fix failing test in 8d6efcbfb559e377a8f21873b736390035bc44ed.

Permit a job to update its output and log attributes even if those
collections have not yet been registered with apiserver.

Hide refresh button on "show pipeline instance" page.

Reorganize Keep code in preparation for dividing into modules.

Refs #2620

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
apps/workbench/app/helpers/application_helper.rb

Thumbnail behavior now conforms to original story
Added documentation to a few methods

Merge branch '2596-refactor-pipeline-create'

closes #2596

Merge remote-tracking branch 'origin/master' into 1971-show-image-thumbnails

Fix errant use of symbol vs. string

Fix unwarranted use of instance variable.

Merge back-to-back condition blocks with the same condition.

Merge branch 'master' into 2596-refactor-pipeline-create

Conflicts:
apps/workbench/app/helpers/application_helper.rb

Remove bootstrap_components logic from Workbench, now that it happens
automatically on the API server side.

Fix, and tests for, PipelineInstance#bootstrap_components

Merge branch '2449-keep-index-status-handlers'

Closes #2449, closes #2603, closes #2561.

Increased wait time on capybara test to reduce chance of failure.

Merge branch '2376-show-collection-tags-everywhere'

Conflicts:
apps/workbench/app/controllers/actions_controller.rb

Check that specified Keep volumes actually exist.

Incorporates code review for #2449. Refs #2561.

Fixed error reporting when head/tail_uuid don't match head/tail_kind for links.
Added a couple more tests.

Merge branch '2488-jobs-pipeline-doc'

Fixed typo in application_helper.rb
Removed commented out line in application.html.erb

Merge branch 'master' into 2449-keep-index-status-handlers

Add a device_num field to status.json output.

Include the underlying device number (as returned by stat(2)) in
status.json output, so clients can see if two Keep directories are
located on the same underlying volume. Refs #2561.

Parameterize the 'arv' command so that it can be specified with an environment
variable to make it easier to run with the right environment for development.

Added IsValidLocator to filter /index output.

IndexHandler should skip metadata files and anything else that isn't a
valid locator, so call IsValidLocator before including the file in the
index output. Refs #2561.

Merge branch 'master' into 2596-refactor-pipeline-create

Conflicts:
apps/workbench/test/functional/users_controller_test.rb
services/api/app/controllers/arvados/v1/jobs_controller.rb
services/api/test/functional/arvados/v1/links_controller_test.rb

Ensure created/modified/updated_at are correct, add tests.

Update local copy of updated_at if the server provides it.

Add tests, enable environments/test.rb to prevent CSRF checks in tests

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Job reuse bugfix: do not reuse completed jobs that have NULL output.

Added thumbnail option to #link_to_if_arvados_object, enabled on pipeline instance and job pages.
Refactored #is_image and #file_path to CollectionsHelper.

Merge branch '2376-show-collection-tags-everywhere' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/controllers/actions_controller.rb
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch 'master' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch '2388-bogus-token-error-page'

closes #2388

Merge branch 'master' into 1776-setup-user-email

Merge branch 'master' into 2449-keep-index-status-handlers

Merge branch '2449-keep-write-blocks'

Closes #2449, closes #2292, closes #2507.

Do not blow up when HOME is not set.

Javascript to replace <span> tags used for labels to square brackets for
selection lists that can't handle HTML.
Some output sanitization in case a tag has HTML in it.

Added rudimentary GetNodeStatus test. (refs #2561)

Added GetNodeStatus unit test.
Revised structure of NodeStatus struct to reflect the desired output format.

Merge branch 'master' into 1776-setup-user-email

Conflicts:
services/api/app/controllers/arvados/v1/users_controller.rb

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reverted Gemfile.lock

Removes spurious whitespace.

Adds tags to link text for anything using #link_to_if_arvados_object for a collection
Changed breadcrumb at top of page to use #link_to_if_arvados_object
Adding a collection to selection list includes tags in item text

Simplify GetNodeStatus to return only disk usage stats for volumes (refs #2561)

GetNodeStatus now only collects volume mount point, bytes free and bytes used.
More stats will be added as we find them necessary.

Links controller checks that head/tail_kind matches head/tail_uuid.
Added test.

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Reverted accidental change to Gemfile.
Restored parameter check in load_filters_param.
Removed spurious commented-out code from test.

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Improved language about git revisions a bit based on review feeback.

* Refactored to remove load_kind_params filter and instead override load_where_param and load_filters_param in the links and logs controllers to add the _kind functionality.
* Removed 'rescue' clause.  I think I left that in from debugging.
* Fixed :log -> :logs
* filters: ['tail_kind','=','arvados#user'] works
* Added more tests.
* Added equivalent logic and tests for logs controller for object_kind

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Make arrays non-editable on pipeline instance page.

(This is better than offering to edit them but mangling them in the
process.)

Do not reuse cancelled jobs. Do not consider nil outputs from
incomplete jobs when deciding whether a script is deterministic.

Ignore jobs with no repository specified, instead of crashing.

Refactor pipeline_template -> pipeline_instance process.

Copy components from template to instance during #create, not #show.

Maintain script_parameters information in pipeline_instance. When
editing, use that instead of relying on the original template.

Add a generic "merge parameters in update" param, instead of altering
default behavior for pipeline instances. Use Rails deep_merge instead
of gem.

Maintain original component order instead of applying tsort.

Merge branch 'master' into 2449-keep-write-blocks

Clean up error handling (refs #2292).

Code review comments (refs #2292)

Fix nil map bug and status.json route. (refs #2561)

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reorganized job/pipeline docs into relevant API reference sections

Updated Job section of API documentation regarding repository and
nondeterministic attributes. refs #2488

Merge branch 'master' into 2449-keep-index-status-handlers

Update documentation for command-line flags (closes #2463, closes #2591).

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Conflicts:
services/api/app/models/arvados_model.rb

API server tests pass, workbench tests are failing