Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Added -serialize flag.

Added IORequest and IOResponse types for communicating I/O
requests over channels with a goroutine.

New IOHandler method on UnixVolume. IOHandler receives requests on a
command channel, handles them, and delivers responses. Whenever a
UnixVolume is created with a non-nil queue, an IOHandler must be started
to handle its requests.

UnixVolume methods Get and Put now handle external I/O requests.  These
methods serialize I/O requests if serialization is enabled for that
volume; otherwise they call Read and Write directly.

New unit tests: TestGetSerialized and TestPutSerialized.

Refs #2620.

Updated UnixVolume unit tests (refs #2620).

Moved the MD5 verification check back to GetBlock.

Policy tests such as checksumming belong in the Keep front end. The back
end should be limited to moving data in and out of a volume. (refs #2620)

Added UnixVolume unit tests. (refs #2620)

Made KeepVolumes a slice of Volume objects, not strings.

Moved more Unix-specific code into volume.go as part of the process.

Bug fix: GetBlock must report a CorruptError immediately.

Refs #2620.

Adding a Volume interface and UnixVolume implementation.

refs #2620

Reorganize Keep code in preparation for dividing into modules.

Refs #2620

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
apps/workbench/app/helpers/application_helper.rb

Thumbnail behavior now conforms to original story
Added documentation to a few methods

Merge branch '2596-refactor-pipeline-create'

closes #2596

Merge remote-tracking branch 'origin/master' into 1971-show-image-thumbnails

Fix errant use of symbol vs. string

Fix unwarranted use of instance variable.

Merge back-to-back condition blocks with the same condition.

Merge branch 'master' into 2596-refactor-pipeline-create

Conflicts:
apps/workbench/app/helpers/application_helper.rb

Remove bootstrap_components logic from Workbench, now that it happens
automatically on the API server side.

Fix, and tests for, PipelineInstance#bootstrap_components

Merge branch '2449-keep-index-status-handlers'

Closes #2449, closes #2603, closes #2561.

Increased wait time on capybara test to reduce chance of failure.

Merge branch '2376-show-collection-tags-everywhere'

Conflicts:
apps/workbench/app/controllers/actions_controller.rb

Check that specified Keep volumes actually exist.

Incorporates code review for #2449. Refs #2561.

Fixed error reporting when head/tail_uuid don't match head/tail_kind for links.
Added a couple more tests.

Merge branch '2488-jobs-pipeline-doc'

Fixed typo in application_helper.rb
Removed commented out line in application.html.erb

Merge branch 'master' into 2449-keep-index-status-handlers

Add a device_num field to status.json output.

Include the underlying device number (as returned by stat(2)) in
status.json output, so clients can see if two Keep directories are
located on the same underlying volume. Refs #2561.

Parameterize the 'arv' command so that it can be specified with an environment
variable to make it easier to run with the right environment for development.

Added IsValidLocator to filter /index output.

IndexHandler should skip metadata files and anything else that isn't a
valid locator, so call IsValidLocator before including the file in the
index output. Refs #2561.

Merge branch 'master' into 2596-refactor-pipeline-create

Conflicts:
apps/workbench/test/functional/users_controller_test.rb
services/api/app/controllers/arvados/v1/jobs_controller.rb
services/api/test/functional/arvados/v1/links_controller_test.rb

Ensure created/modified/updated_at are correct, add tests.

Update local copy of updated_at if the server provides it.

Add tests, enable environments/test.rb to prevent CSRF checks in tests

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Job reuse bugfix: do not reuse completed jobs that have NULL output.

Added thumbnail option to #link_to_if_arvados_object, enabled on pipeline instance and job pages.
Refactored #is_image and #file_path to CollectionsHelper.

Merge branch '2376-show-collection-tags-everywhere' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/controllers/actions_controller.rb
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch 'master' into 1971-show-image-thumbnails

Conflicts:
apps/workbench/app/views/collections/_show_files.html.erb

Merge branch '2388-bogus-token-error-page'

closes #2388

Merge branch 'master' into 1776-setup-user-email

Merge branch 'master' into 2449-keep-index-status-handlers

Merge branch '2449-keep-write-blocks'

Closes #2449, closes #2292, closes #2507.

Do not blow up when HOME is not set.

Javascript to replace <span> tags used for labels to square brackets for
selection lists that can't handle HTML.
Some output sanitization in case a tag has HTML in it.

Added rudimentary GetNodeStatus test. (refs #2561)

Added GetNodeStatus unit test.
Revised structure of NodeStatus struct to reflect the desired output format.

Merge branch 'master' into 1776-setup-user-email

Conflicts:
services/api/app/controllers/arvados/v1/users_controller.rb

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reverted Gemfile.lock

Removes spurious whitespace.

Adds tags to link text for anything using #link_to_if_arvados_object for a collection
Changed breadcrumb at top of page to use #link_to_if_arvados_object
Adding a collection to selection list includes tags in item text

Simplify GetNodeStatus to return only disk usage stats for volumes (refs #2561)

GetNodeStatus now only collects volume mount point, bytes free and bytes used.
More stats will be added as we find them necessary.

Links controller checks that head/tail_kind matches head/tail_uuid.
Added test.

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Reverted accidental change to Gemfile.
Restored parameter check in load_filters_param.
Removed spurious commented-out code from test.

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Improved language about git revisions a bit based on review feeback.

* Refactored to remove load_kind_params filter and instead override load_where_param and load_filters_param in the links and logs controllers to add the _kind functionality.
* Removed 'rescue' clause.  I think I left that in from debugging.
* Fixed :log -> :logs
* filters: ['tail_kind','=','arvados#user'] works
* Added more tests.
* Added equivalent logic and tests for logs controller for object_kind

Fix exception when valid token points to missing user

Add tests to expose some token handling bugs.

Move test-api-server framework so it works in functional and unit tests too.

Add token that is valid except that it points to a missing user.

Send HTTP 500 if we end up in render_error without a more specific status.

Make arrays non-editable on pipeline instance page.

(This is better than offering to edit them but mangling them in the
process.)

Do not reuse cancelled jobs. Do not consider nil outputs from
incomplete jobs when deciding whether a script is deterministic.

Ignore jobs with no repository specified, instead of crashing.

Refactor pipeline_template -> pipeline_instance process.

Copy components from template to instance during #create, not #show.

Maintain script_parameters information in pipeline_instance. When
editing, use that instead of relying on the original template.

Add a generic "merge parameters in update" param, instead of altering
default behavior for pipeline instances. Use Rails deep_merge instead
of gem.

Maintain original component order instead of applying tsort.

Merge branch 'master' into 2449-keep-write-blocks

Clean up error handling (refs #2292).

Code review comments (refs #2292)

Fix nil map bug and status.json route. (refs #2561)

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch 'master' into 2449-keep-write-blocks

Reorganized job/pipeline docs into relevant API reference sections

Updated Job section of API documentation regarding repository and
nondeterministic attributes. refs #2488

Merge branch 'master' into 2449-keep-index-status-handlers

Update documentation for command-line flags (closes #2463, closes #2591).

Merge remote-tracking branch 'origin/master' into origin-2228-check-filter-uuid-columns

Conflicts:
services/api/app/models/arvados_model.rb

API server tests pass, workbench tests are failing

Added ReadAtMost function for reading request data (refs #2292)

ReadAtMost will read up to the specified number of bytes, returning
an error if the request is larger than that limit.

Updating docs for code review (refs #2463)

Merge branch 'master' into 2449-keep-flags

Merge branch 'master' into 2449-keep-write-blocks

Merge branch '2375-log-table' into master

We add a log to the Log table whenever another model is created,
updated, or destroyed.  Closes #2375, #2559.

Merge branch '2246-fix-git-clone-race'

closes #2246

Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Merge branch '2449-keep-write-blocks' into 2449-keep-flags

Added todo for TestPutBlockWriteErr (refs #2292)

Merge branch 'master' into 2449-keep-write-blocks

Added TestPutBlockCollision (refs #2292).

api: Don't include API tokens in logs.

Refs #2375.  See Tom's comments.

I also renamed UNLOGGED_ATTRIBUTES to UNLOGGED_CHANGES to help clarify
that it's not used by logged_attributes.

Merged master

api: More robust tests for log properties.

This ensures that logs always have the old/new_etag/attributes
properties, even if they're expressly set to nil.

api: Improve test for selective API auth logging.

Merge branch '2272-fix-setup-user-in-workbench'