Check that specified Keep volumes actually exist.

Incorporates code review for #2449. Refs #2561.

Fixed error reporting when head/tail_uuid don't match head/tail_kind for links.
Added a couple more tests.

Merge branch '2488-jobs-pipeline-doc'

Fixed typo in application_helper.rb
Removed commented out line in application.html.erb

Merge branch 'master' into 2449-keep-index-status-handlers

Add a device_num field to status.json output.

Include the underlying device number (as returned by stat(2)) in
status.json output, so clients can see if two Keep directories are
located on the same underlying volume. Refs #2561.

Parameterize the 'arv' command so that it can be specified with an environment
variable to make it easier to run with the right environment for development.

Added IsValidLocator to filter /index output.

IndexHandler should skip metadata files and anything else that isn't a
valid locator, so call IsValidLocator before including the file in the
index output. Refs #2561.

Merge branch 'master' into 2596-refactor-pipeline-create

Conflicts:
apps/workbench/test/functional/users_controller_test.rb
services/api/app/controllers/arvados/v1/jobs_controller.rb
services/api/test/functional/arvados/v1/links_controller_test.rb

Ensure created/modified/updated_at are correct, add tests.

Update local copy of updated_at if the server provides it.

Add tests, enable environments/test.rb to prevent CSRF checks in tests

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Job reuse bugfix: do not reuse completed jobs that have NULL output.

Added thumbnail option to #link_to_if_arvados_object, enabled on pipeline instance and job pages.
Refactored #is_image and #file_path to CollectionsHelper.

Merge branch '2376-show-collection-tags-everywhere' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/controllers/actions_controller.rb
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch 'master' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch '2388-bogus-token-error-page'

closes #2388

Merge branch 'master' into 1776-setup-user-email

Merge branch 'master' into 2449-keep-index-status-handlers

Merge branch '2449-keep-write-blocks'

Closes #2449, closes #2292, closes #2507.

Do not blow up when HOME is not set.

Javascript to replace <span> tags used for labels to square brackets for
selection lists that can't handle HTML.
Some output sanitization in case a tag has HTML in it.

Added rudimentary GetNodeStatus test. (refs #2561)

Added GetNodeStatus unit test.
Revised structure of NodeStatus struct to reflect the desired output format.

Merge branch 'master' into 1776-setup-user-email

Conflicts:
services/api/app/controllers/arvados/v1/users_controller.rb

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reverted Gemfile.lock

Removes spurious whitespace.

Adds tags to link text for anything using #link_to_if_arvados_object for a collection
Changed breadcrumb at top of page to use #link_to_if_arvados_object
Adding a collection to selection list includes tags in item text

Simplify GetNodeStatus to return only disk usage stats for volumes (refs #2561)

GetNodeStatus now only collects volume mount point, bytes free and bytes used.
More stats will be added as we find them necessary.

Links controller checks that head/tail_kind matches head/tail_uuid.
Added test.

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Reverted accidental change to Gemfile.
Restored parameter check in load_filters_param.
Removed spurious commented-out code from test.

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Improved language about git revisions a bit based on review feeback.

* Refactored to remove load_kind_params filter and instead override load_where_param and load_filters_param in the links and logs controllers to add the _kind functionality.
* Removed 'rescue' clause.  I think I left that in from debugging.
* Fixed :log -> :logs
* filters: ['tail_kind','=','arvados#user'] works
* Added more tests.
* Added equivalent logic and tests for logs controller for object_kind

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Make arrays non-editable on pipeline instance page.

(This is better than offering to edit them but mangling them in the
process.)

Do not reuse cancelled jobs. Do not consider nil outputs from
incomplete jobs when deciding whether a script is deterministic.

Ignore jobs with no repository specified, instead of crashing.

Refactor pipeline_template -> pipeline_instance process.

Copy components from template to instance during #create, not #show.

Maintain script_parameters information in pipeline_instance. When
editing, use that instead of relying on the original template.

Add a generic "merge parameters in update" param, instead of altering
default behavior for pipeline instances. Use Rails deep_merge instead
of gem.

Maintain original component order instead of applying tsort.

Merge branch 'master' into 2449-keep-write-blocks

Clean up error handling (refs #2292).

Code review comments (refs #2292)

Fix nil map bug and status.json route. (refs #2561)

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reorganized job/pipeline docs into relevant API reference sections

Updated Job section of API documentation regarding repository and
nondeterministic attributes. refs #2488

Merge branch 'master' into 2449-keep-index-status-handlers

Update documentation for command-line flags (closes #2463, closes #2591).

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Conflicts:
services/api/app/models/arvados_model.rb

API server tests pass, workbench tests are failing

Added ReadAtMost function for reading request data (refs #2292)

ReadAtMost will read up to the specified number of bytes, returning
an error if the request is larger than that limit.

Updating docs for code review (refs #2463)

Merge branch 'master' into 2449-keep-flags

Merge branch 'master' into 2449-keep-write-blocks

Merge branch '2375-log-table' into master

We add a log to the Log table whenever another model is created,
updated, or destroyed.  Closes #2375, #2559.

Merge branch '2246-fix-git-clone-race'

closes #2246

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch '2449-keep-write-blocks' into 2449-keep-flags

Added todo for TestPutBlockWriteErr (refs #2292)

Merge branch 'master' into 2449-keep-write-blocks

Added TestPutBlockCollision (refs #2292).

api: Don't include API tokens in logs.

Refs #2375.  See Tom's comments.

I also renamed UNLOGGED_ATTRIBUTES to UNLOGGED_CHANGES to help clarify
that it's not used by logged_attributes.

Merged master

api: More robust tests for log properties.

This ensures that logs always have the old/new_etag/attributes
properties, even if they're expressly set to nil.

api: Improve test for selective API auth logging.

Merge branch '2272-fix-setup-user-in-workbench'

Merge branch 'master' of git.curoverse.com:arvados

Write status output in JSON. (refs #2561)

Merge branch '2338-maintain-active-tab'

closes #2338

Add/fix some shell quoting.

Add comments to explain different ways we choose $repo.

Merge branch '2243-fix-pipeline-instance-heading'

closes #2243

Update README for selenium+headless: install firefox+xvfb
instead of libqt+phantomjs

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Conflicts:
services/keep/keep.go

Added status.json handler. (refs #2561)

Fix the users test to get the created user id

Merge branch 'master' into 2449-keep-write-blocks

Update for code review (refs #2292).

* Use ioutil.TempFile to write new blocks, renaming to the correct
  name upon success.

* PutBlock should overwrite corrupt blocks, not report a collision.

* Get free disk space from syscall.Statfs, not `df`.

api: Don't log common changes to API tokens.

The last_used_* attributes are updated very often.  Logging those
changes would probably make the logs less useful.

api: Raise errors from saving logs.

With this change, I realized it'd be cleaner to write the
implementation as after_* callbacks, so this includes that.  But the
fundamental change is to use log.save! instead of plain log.save.

Comment out failing assertions for now.

api: Have users own the logs they generate.

Setting the owner to the system user was intended to provide the
security policy we wanted.  Now that we've opted instead to give logs
overrides for the permission_to_ACTION methods, users should own their
own logs so they can read them.

api: Let admin users delete logs.

api: Test that we don't make logs about logs.

Merge branch 'master' into 2375-log-table

Added /index handlers. (refs #2561)

Merge branch 'master' into 1776-setup-user-email

Merge branch 'master' of git.curoverse.com:arvados