Merge branch 'master' into 2221-complete-docker

install.rb: generate config.yml file on demand if necessary. Refs #2221.

Fix CollectionReader treating any collection with additional +hints as
an empty manifest.

Now, accept hash+size+anyhints as a UUID, and if the argument looks
like neither a UUID nor a manifest, raise an exception instead of
proceeding with undefined results.

Merge branch '1844-blob-signature'

Merge branch 'master' into 1844-blob-signature

Code review for 1844-blob-signature: documentation, slight refactoring (refs #1844)

Fix check for crunch-job missing from path, and run it as arv-crunch-job.

Fix crash when job script is nil.

Merge branch 'master' into 2221-complete-docker

New script install.rb (install all dependencies and build Arvados). refs #2221

Add arv-normalize to python SDK package.

Update doc for running crunch-job in local mode. (refs #2221)

Merge branch 'master' into 2221-complete-docker

Build all containers from working source. (refs #2221)

Merge branch '2107-radhika-user-guide-minor-updates'

Fix Task#2268 by removing the extra space character

Exclude any api/log files from API docker server, in case user is running an API server locally (refs #2221).

Fixed default inactive user page.

Remove dependencies on warehouse and IPC::System::Simple (refs #2221).

Add signing and verification code for blob permissions

Merge branch 'master' into 2107-radhika-user-guide-minor-updates

Conflicts:
doc/_config.yml

Document baseurl and change to a useful default.

Use require instead of rake_require. Fixes "Can't find
zenweb/tasks".

See
https://github.com/seattlerb/zenweb/commit/4a28f3c8d766be7066658706d49b675d2a0f94ad

Merge branch 'master' into 2221-complete-docker

minor updates to user guide

Added section about installing libwarehouse-perl.

Gemfile update using ruby 2.1.1

Merge pull request #1 from gitaway/patch-1

Correct parameterized input collection reference

Correct parameterized input collection reference

Attempting to follow the tutorial I was blocked because the UUID for the alternate input supplied as a command line parameter was incomplete. This can be easily overlooked because in fact the final filtered output is a zero-length file in either case: it's just that currently it is zero-length only because its input is empty!

Be consistent in referring to the 'All users' group.

Fixed broken links in documentation that were using {{site.basedoc}} instead of {{site.baseurl}}.
Fixed some other links so that documentation can be browsed from file:///
Made some updates to API server setup guide.

Fix jobs.cancel and add integration test. closes #2258

Fix usage message dependent on credentials. Remove unused argparse import.

Set up virtualenv and install custom SDK only if SDK appears in
arvados/sdk/python -- ignore sdk/python.

This means scripts that are run straight from the arvados tree will
use whatever SDK is installed on the compute node, rather than
installing the SDK and dependencies into a virtualenv.

If you want your scripts to be in [a fork of] the arvados tree rather
than bringing in arvados as a submodule, *and* you want to pin jobs to
a specific SDK version, add a symbolic link in your source tree
(/arvados -> .).

Add build.sh step to Python SDK install recipe (part 2).

Add build.sh step to Python SDK install recipe.

Do not try to extract git archive if none was provided by calling process.

Update Perl install documentation.

Add build infrastructure for Perl SDK.

Fix text color of active+hover nav link

Merge branch 'master' into 2221-complete-docker

Minor doc fix.

Fix refresh feature on pipeline_instances/show.

Note symbolic link to ../application/show.html.erb seems to be
necessary for "render template: 'pipeline_instances/show'" to work;
rails doesn't fall back to application/show automatically here.

Revert "Move left nav all the way to the top left corner."

This reverts commit d7a07294a8d4a546852a33417972924f658e4024.

Merge branch 'master' into 2221-complete-docker

Fix documentation & workbench build permissions (refs #2221)

Move left nav all the way to the top left corner.

Do not blow up on node create when the ec2 configuration values are not
set.

All this ec2-specific stuff needs to be ripped out, but for now this
will have to do.

Merge branch '2060-edit-tags-in-workbench'

closes #2060
closes #1981

Turn off CSS animation on loading graphic; make it red instead.

Fix spacing of tag labels.

Fix files=nil -> files=[] in API response for empty collection.

Merge branch 'master' into 2060-edit-tags-in-workbench

Merge branch 'master' into 2060-edit-tags-in-workbench

Update Python SDK docs to reflect new llfuse dependencies.

Document pkg-config dependency for llfuse.

Consume all arguments after arv-mount --exec, and fork subprocess
without a shell to avoid double shell expansion.

Use fusermount -z to force detach and avoid hanging on exit.

Update Docker-based services to ruby-2.1.0.

Use rvm-exec to eliminate extra bash process provided by "rvm do". closes #2095

Update Python SDK install step, add virtualenv dependency

Use %N instead of %n format and parse node ranges ourselves if slurm <2.3

Update arvdock instructions.

Remove -h flag from arv examples in docs, now that it means --help.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch '1965-fuse-support-directories'

Conflicts:
sdk/python/arvados/keep.py

Hash now uses get_task_param_mount() to read from fuse mount instead of CollectionReader.

Added alternate option to one_task_per_input_file to encode specification of input files as collection/stream/file instead of raw manifest text.

Added StreamFileReader.as_manifest() back and added test for it.
Refactored manifest text generation a bit.

Merge branch 'master' into 2199-crunch-virtualenv

get_job_param_mount() and get_task_param_mount() tested and working.

Added symlink arv-mount, arv-normalize, arv-ls to cli/bin

Added get_job_param_mount() and get_task_param_mount()

Changed JOB_WORK to TASK_WORK in mounting keep directory.

Added arv-mount

--exec works

Added --exec, needs testing.

Fixed caching so that reads by other threads for a block which is already
being downloaded will block all threads until the block is downloaded.

caching wip

Added test for magic directories.

Added basic unit test for fuse mount.

changed fusepy to llfuse

installing llfuse from pip instead of debian

Added comments and some refactoring.

Improve headings in Python SDK installation section.

Update Python SDK documentation to reflect availability of PyPI package,
as well as the updated build-from-source instructions.

Improve python sdk package building to allow for easy distribution via
pypi.

Update url field in python sdk setup.py file.

Robustness improvements

Fuse driver works for mounting collections and reading files.  Tested with jlake collection, spot checked m5dsum values of several files which matched the md5sum catalog in the jlake collection.

Working on fuse mount

Directory browsing works, working on error handling for file reading.

Work in progress arv-mount based on llfuse and supporting directories listings.

Fixed file page to sort by stream name, then by file name

Do a partial normalization of file list before sending to client.

Put some code into collection model to do normalization but I don't think that is the right place for it.

Re-order left nav and make labels consistent with arvados vocabulary.

Added arv keep normalized

Added arv-normalize

added -s option