Merge branch 'master' into 2449-keep-write-blocks

Added IsFull() to check for free space before writing. (refs #2292)

Remove Ruby 2.1.0 dependency by using Hash[x] instead of x.to_h.

Merge branch 'master' into 2449-keep-write-blocks

PutBlock saves a block on only the first available volume (refs #2292)

Per code review: Keep stores a block on only one disk at a time.
Updated PutBlock, and PutBlock/GetBlock unit tests, appropriately.

Fix copy/paste error.

Fix $keep variable scope (refs #2221)

Merge branch '2221-complete-docker' (closes #2325, closes #2221)

Conflicts:
.gitignore

Semicolon fix (refs #2325, refs #2221).

Merge branch '2509-rake-linkchecker'

Use a simple 'open' for fetch_block (freeing up an extra filehandle). refs #2325, refs #2221

Resolving style comments from #2325. (refs #2325, refs #2221)

* README: remove numbers in headings

* linkchecker: only check file:// links

* epydoc: run against the local source tree, not against whatever
  version of the python 'arvados' package is installed

* generate: re-run epydoc on every generation

* generate: do not fail to include the epydoc output files if they are
  generated in the current run (which they now always are)

Use quotemeta to protect shell escapes (refs #2221, #2325)

Set umask to 022 when creating config files. (refs #2221)

docker: Install staged source on Docker images.

A separate build step to stage source makes it easier for us to fix
permissions and do other clean-up before installing it in a Docker
image.  It also reduces code redundancy; for example, builders don't
have to worry about excluding log and tmp directories.

docker: Tolerate existing tmp in api-image.

docker: `chmod go=rX` on generated files.

That's not how this is implemented, but the end result should be the
same.

docker: Don't try shell expansion in Makefile.

The original syntax, at least, is not supported.

docker: Improve build.sh's Makefile finding.

doc: Add rake linkchecker task, and document it in the README file

Merge branch '2209-correct-items-available'

closes #2209

Fix counting results in test case (count != size for an ActiveRelation).

Merge branch 'master' into 2209-correct-items-available

Really check for duplicate items returned, instead of just calling a
variable unique_uuids.

doc: Fix Keep links in tutorial-job1.

Merge branch '2470-doc-refresh'.

Closes #2470, #2490.

doc: Implement Tom's suggested improvements.

Refs #2470.

doc: tutorial-job1 updates and style tweaks.

The major change here is that we set no_reuse on the job, to avoid
confusing people by using results from previous tutorial runs.  These
updates also reflect some minor changes in the Workbench UI.

doc: job-and-pipeline-ref grammar fixes.

doc: Keep topic style tweaks.

doc: Fix typos in tutorial-parallel.

doc: tutorial-job-debug update and style.

* Jobs now require a "repository" parameter.
* Use environment variables to specify the job script.

doc: Make running-pipeline-command up-to-date.

* @arv pipeline run@ now requires @--run-here@.
* Pipelines are now under Activity in Workbench navigation.
* The format of the example output has changed, along with all the
  Keep hashes.

doc: Highlight "you" in reference JSON.

Since this reference provides users with raw example JSON, and doesn't
tell them to write it with @cat@, we can't rely on shell variable
expansion here.

doc: Use $USER in tutorial JSON.

The tutorial encourages users to copy and paste command text.
However, most of the JSON needs to have a user-specific value for
"repository", which is easy to overlook.  Since we're telling users to
save JSON with @cat@, we can take advantage of shell variable
expansion to make the right thing happen automatically.

I added accompanying notes to help explain what's going on for people
who aren't copying instructions so literally.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: Tweak running-external-program style.

doc: tutorial-new-pipeline clarity.

I renamed the "filter" job to "do_filter" to help disambiguate it a
little from "0-filter.py".

Conflicts:
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: tutorial-firstscript style consistency.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid

doc: tutorial-pipeline-workbench style+clarity.

doc: Fix tutorial-keep typos and consistency.

doc: Fix api-tokens typos and consistency.

doc: Fix ssh-access typos and consistency.

doc: Style and consistency in user/index.

Doc fixes.

Merge branch '2447-fix-workbench-search'

closes #2447

Fix searching on tables with no "name" column. Take care not to use
string operators on incompatible column types when applying
where/filters.

Load ArvadosApiClient after configuration.

Merge branch '2498-group-admin'

closes #2498

Fix down-migration: delete the system_group and automatically
generated links, and rename the migration.

Add migration to create system group in existing installations.

Added TestPutBlockOneVol and TestPutBlockCorrupt. (refs #2292, refs #2449)

Add a system_group, and ensure it has can_manage permission on every
existing and future user.

This lets us give a user access to all users' data (on read-only or
read+write basis) without also giving them system level privileges
with the is_admin flag (which would also let them override business
logic like UUID assignment).

Added TestPutBlockOK. (refs #2292, refs #2449)

Also:
* Fixed some sloppy/confusing error handling.
* Removed dependency on "path" in keep.go.

doc: Implement Tom's suggested improvements.

Refs #2470.

Document group-level administrator semantics.

Support group-wide administrator privileges.

If an admin user or group has permission to read/write/manage a target
user, the admin's permission extends to all other objects on which the
target user has permission.

Typo fix.

Increase max #users shown on  users/activity page.

PutBlock creates dirs as necessary when storing new blocks (refs #2292, refs #2449)

PutBlock calls os.MkdirAll() to create the directory hierarchy when
storing new blocks.

Also: better error reporting and logging.

Count distinct records for items_available, not rows generated by permission join.

Test no duplicate UUIDs are returned by collections.list.

Test items_available = items returned when limit is large.

Move keep mount point outside TASK_WORK directory to prevent conflict
with arvados.util.clear_tmp().

Add repository=arvados now required by jobs.create.

Added PutBlock and PutBlockHandler (refs #2292)

doc: tutorial-job1 updates and style tweaks.

The major change here is that we set no_reuse on the job, to avoid
confusing people by using results from previous tutorial runs.  These
updates also reflect some minor changes in the Workbench UI.

doc: job-and-pipeline-ref grammar fixes.

doc: Keep topic style tweaks.

doc: Fix typos in tutorial-parallel.

doc: tutorial-job-debug update and style.

* Jobs now require a "repository" parameter.
* Use environment variables to specify the job script.

doc: Make running-pipeline-command up-to-date.

* @arv pipeline run@ now requires @--run-here@.
* Pipelines are now under Activity in Workbench navigation.
* The format of the example output has changed, along with all the
  Keep hashes.

doc: Highlight "you" in reference JSON.

Since this reference provides users with raw example JSON, and doesn't
tell them to write it with @cat@, we can't rely on shell variable
expansion here.

doc: Use $USER in tutorial JSON.

The tutorial encourages users to copy and paste command text.
However, most of the JSON needs to have a user-specific value for
"repository", which is easy to overlook.  Since we're telling users to
save JSON with @cat@, we can take advantage of shell variable
expansion to make the right thing happen automatically.

I added accompanying notes to help explain what's going on for people
who aren't copying instructions so literally.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: Tweak running-external-program style.

doc: tutorial-new-pipeline clarity.

I renamed the "filter" job to "do_filter" to help disambiguate it a
little from "0-filter.py".

Conflicts:
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: tutorial-firstscript style consistency.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid

doc: tutorial-pipeline-workbench style+clarity.

doc: Fix tutorial-keep typos and consistency.

doc: Fix api-tokens typos and consistency.

doc: Fix ssh-access typos and consistency.

doc: Style and consistency in user/index.

Bump arvados-cli version to use output_is_persistent feature. refs #1932

Merge branch '1932-job-output-persistent'

closes #1932

Fetch --tags, otherwise we miss out on commits that are tagged but are
not on a branch.

Add dependency on latest arv-run-pipeline-instance.

Clarify c_already_finished comments.

Merge branch '2291-new-keepd-read-blocks'

Addressing code review comments (refs #2485, refs #2295)

os.Remove(f.Name()) is clearer and less scary than os.Remove(PROC_MOUNTS).

Merge branch 'master' into 2221-complete-docker

Conflicts:
sdk/cli/bin/crunch-job

Unit test for FindKeepVolumes (refs #2295)

Move "empty blob" magic number into a Collection class method, remove
some old unused code and commented-out debug statements.

Fix some whitespace complaints.

Merge branch 'master' into 1932-job-output-persistent

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid
sdk/cli/bin/arv-run-pipeline-instance
services/api/db/schema.rb

Fix migration crash when script_version is nil.

Ignore "cache directory does not exist" error when clearing cache at
server startup.

Merge branch '2068-reset-user'

reload object before unsetup

doc: Make index adorable.

It's so cute!

minor cleanup