Merge branch 'master' into 2209-correct-items-available

Really check for duplicate items returned, instead of just calling a
variable unique_uuids.

doc: Fix Keep links in tutorial-job1.

Merge branch '2470-doc-refresh'.

Closes #2470, #2490.

doc: Implement Tom's suggested improvements.

Refs #2470.

doc: tutorial-job1 updates and style tweaks.

The major change here is that we set no_reuse on the job, to avoid
confusing people by using results from previous tutorial runs.  These
updates also reflect some minor changes in the Workbench UI.

doc: job-and-pipeline-ref grammar fixes.

doc: Keep topic style tweaks.

doc: Fix typos in tutorial-parallel.

doc: tutorial-job-debug update and style.

* Jobs now require a "repository" parameter.
* Use environment variables to specify the job script.

doc: Make running-pipeline-command up-to-date.

* @arv pipeline run@ now requires @--run-here@.
* Pipelines are now under Activity in Workbench navigation.
* The format of the example output has changed, along with all the
  Keep hashes.

doc: Highlight "you" in reference JSON.

Since this reference provides users with raw example JSON, and doesn't
tell them to write it with @cat@, we can't rely on shell variable
expansion here.

doc: Use $USER in tutorial JSON.

The tutorial encourages users to copy and paste command text.
However, most of the JSON needs to have a user-specific value for
"repository", which is easy to overlook.  Since we're telling users to
save JSON with @cat@, we can take advantage of shell variable
expansion to make the right thing happen automatically.

I added accompanying notes to help explain what's going on for people
who aren't copying instructions so literally.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: Tweak running-external-program style.

doc: tutorial-new-pipeline clarity.

I renamed the "filter" job to "do_filter" to help disambiguate it a
little from "0-filter.py".

Conflicts:
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: tutorial-firstscript style consistency.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid

doc: tutorial-pipeline-workbench style+clarity.

doc: Fix tutorial-keep typos and consistency.

doc: Fix api-tokens typos and consistency.

doc: Fix ssh-access typos and consistency.

doc: Style and consistency in user/index.

Merge branch '2447-fix-workbench-search'

closes #2447

Fix searching on tables with no "name" column. Take care not to use
string operators on incompatible column types when applying
where/filters.

Load ArvadosApiClient after configuration.

Merge branch '2498-group-admin'

closes #2498

Fix down-migration: delete the system_group and automatically
generated links, and rename the migration.

Add migration to create system group in existing installations.

Add a system_group, and ensure it has can_manage permission on every
existing and future user.

This lets us give a user access to all users' data (on read-only or
read+write basis) without also giving them system level privileges
with the is_admin flag (which would also let them override business
logic like UUID assignment).

doc: Implement Tom's suggested improvements.

Refs #2470.

Document group-level administrator semantics.

Support group-wide administrator privileges.

If an admin user or group has permission to read/write/manage a target
user, the admin's permission extends to all other objects on which the
target user has permission.

Increase max #users shown on  users/activity page.

Count distinct records for items_available, not rows generated by permission join.

Test no duplicate UUIDs are returned by collections.list.

Test items_available = items returned when limit is large.

Move keep mount point outside TASK_WORK directory to prevent conflict
with arvados.util.clear_tmp().

Add repository=arvados now required by jobs.create.

doc: tutorial-job1 updates and style tweaks.

The major change here is that we set no_reuse on the job, to avoid
confusing people by using results from previous tutorial runs.  These
updates also reflect some minor changes in the Workbench UI.

doc: job-and-pipeline-ref grammar fixes.

doc: Keep topic style tweaks.

doc: Fix typos in tutorial-parallel.

doc: tutorial-job-debug update and style.

* Jobs now require a "repository" parameter.
* Use environment variables to specify the job script.

doc: Make running-pipeline-command up-to-date.

* @arv pipeline run@ now requires @--run-here@.
* Pipelines are now under Activity in Workbench navigation.
* The format of the example output has changed, along with all the
  Keep hashes.

doc: Highlight "you" in reference JSON.

Since this reference provides users with raw example JSON, and doesn't
tell them to write it with @cat@, we can't rely on shell variable
expansion here.

doc: Use $USER in tutorial JSON.

The tutorial encourages users to copy and paste command text.
However, most of the JSON needs to have a user-specific value for
"repository", which is easy to overlook.  Since we're telling users to
save JSON with @cat@, we can take advantage of shell variable
expansion to make the right thing happen automatically.

I added accompanying notes to help explain what's going on for people
who aren't copying instructions so literally.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: Tweak running-external-program style.

doc: tutorial-new-pipeline clarity.

I renamed the "filter" job to "do_filter" to help disambiguate it a
little from "0-filter.py".

Conflicts:
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: tutorial-firstscript style consistency.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid

doc: tutorial-pipeline-workbench style+clarity.

doc: Fix tutorial-keep typos and consistency.

doc: Fix api-tokens typos and consistency.

doc: Fix ssh-access typos and consistency.

doc: Style and consistency in user/index.

Bump arvados-cli version to use output_is_persistent feature. refs #1932

Merge branch '1932-job-output-persistent'

closes #1932

Fetch --tags, otherwise we miss out on commits that are tagged but are
not on a branch.

Add dependency on latest arv-run-pipeline-instance.

Clarify c_already_finished comments.

Merge branch '2291-new-keepd-read-blocks'

Addressing code review comments (refs #2485, refs #2295)

os.Remove(f.Name()) is clearer and less scary than os.Remove(PROC_MOUNTS).

Unit test for FindKeepVolumes (refs #2295)

Move "empty blob" magic number into a Collection class method, remove
some old unused code and commented-out debug statements.

Fix some whitespace complaints.

Merge branch 'master' into 1932-job-output-persistent

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid
sdk/cli/bin/arv-run-pipeline-instance
services/api/db/schema.rb

Fix migration crash when script_version is nil.

Ignore "cache directory does not exist" error when clearing cache at
server startup.

Merge branch '2068-reset-user'

reload object before unsetup

doc: Make index adorable.

It's so cute!

minor cleanup

Clean up the users controller

Update tests to match controller updates towards admin_required

Use before_filter admin_required in the users controller for setup and unsetup actions

Improve the api call invocation

Update UI to use button_to instead of link_to to deactivate the user

Merge branch 'master' into 2068-reset-user

Update the text on the deactivate link

Use post method instead of get method when invoking the unsetup method from the api server.

Story #2068: Invoke the user -> unsetup method when an admin user clicks on the deactivate button in workbench

Expose user unsetup method from the API server. Added functional tests.

Merged branch 1741-internal-git-repo into 2333-crunch-dispatch-token-management

Fixed dangling 'end'

Merge branch 'master' into 2333-crunch-dispatch-token-management

Stylistic changes based on comments from Tom/Brett

Merge branch '2051-nondeterministic-jobs'

Merge branch '2291-new-keepd-read-blocks' (fixes #2291)

Incorporating code review comments (refs #2291, refs #2438)

Improve readability of unit tests. (refs #2291)

Pass *testing.T object into setup/store functions to reduce
error-checking overhead.

Add list of in-progress/planned SDKs.

Add Ruby SDK page.

Fix broken links and duplicate titles.

Add command line SDK page.

Add Perl SDK page.

Fixes "sec_error_reused_issuer_and_serial" SSL error in Firefox.

Added fix to workbench dashboard so that workbench integration tests pass.
Added slightly helpful failure message to test assertion.
Fixed non-normalized collection uuids in fixtures.

Merge branch 'master' into 2051-nondeterministic-jobs

Conflicts:
doc/README
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

Added more tests and more aggressive input checking.

Merge branch '2412-do-not-reuse-task-work-dirs'

Merge branch 'master' of git.clinicalfuture.com:arvados

Fixes #2047: Catch connection errors in 'arv' and report the error nicely
instead of dumping a backtrace.