3176: Fix arv-put's resume cache writing.

Refactoring directory creation into _util accidentally broke this:
arv-put was trying to save the cache to a relatively directory that
almost never existed, and then silently ignored the error.

3078: Add arv-put options to add the upload to a Project.

3078: arv-put supports dynamic stderr.

3078: arv-put always writes progress before starting work.

It previously did this when resuming, but there's no reason we
shouldn't do it when starting fresh as well.

add 'import sys' to arvados-bcbio-nextgen.  no issue #

Don't use "arv" command wrapper, call arv-get/arv-put directly.  Avoids
dependency on arvados-cli gem being properly configured on compute node.
no issue #

Update arvados-cli dependency to correct deployed version. no issue #

Merge branch '3123-pipeline-report-job-submit-errors' closes #3123

Google API client jsonifies the body, so we don't have to.

Update package version dependencies on arvados-cli to use commit:7bd2ee2

arv-run-pipeline-instance sends error message to logs table when job submission
fails.  Pipeline instance view in workbench now shows messages for the pipeline
instance (in addition to the jobs) and shows messages when the pipeline is
failed (not only when it is running.)

closes #3140
Merge branch '3140-project-content-tabs'

crunch-dispatch: make sure to update the info['slurm_state'] for the
correct node, not just the first one that happens to have a matching
hostname in our database.

no issue #

Merge branch 'master' into 3140-project-content-tabs

Merge branch 'master' into 3140-project-content-tabs

Don't render selection check boxes when using show_file partials from chooser
modal.  closes #3103.

Consider script_parameters in determining whether to merge script boxes in
pipeline graph drawing.  Also tweaks behavior generating label for
script_parameter boxes to be more compact.  closes #3100

Default arvados-bcbio-nextgen pipeline to use freebayes instead of gatk.  no issue #

arvados-bcbio-nextgen writes output now.  Put write_directory_tree under the
try/except block in run-command.  Tweaked return code output.  no issue #

Bugfix os.environ() -> os.environ[] no issue #

Merge branch 'bcbio-nextgen' refs #2991

Add -n cores to run bcbio in parallel on a multicore node.

Add $(node.cores) substitution to run-program, and add CRUNCH_NODE_SLOTS to
environment passed to docker jobs. no issue #

run-command retry after exception when writing output to keep.  no issue #

Doc: fix link to pipeline instances page in workbench.

no issue #

Merge branch '3185-job-invalid-without-errors' refs #3185

3185: Fix job validation failure with no errors given.

* Do not fail docker validation if runtime_constraints==nil.

* Reposition "check docker image" and "check script version" as
  validations, rather than before_validation and before_create/update
  filters respectively.

* Use valid values for the non-docker attributes in docker test cases.

* Add tests to ensure job validation failures provide error messages.

Move test/functional/arvados/v1/git_setup.rb to
test/helpers/git_test_helper.rb and fix bugs:

* Use "setup do" form instead of "def setup" to avoid clobbering other
  setup tasks

* Restore git_repositories_dir to its original value during teardown,
  to avoid polluting other tests

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch
uses commit:b7de0ac no issue #

Merge branch '2991-job-docker-images' refs #2991

Merge branch '2342-run-command-wrapper' refs #2342

Merge branch '3141-keep-logging-improvements'

This closes #3141

keep: MockVolume should return os.ErrNotExist instead of errors.New("not
found") when a block can not be found, just like a real volume.

Revert "Do not print an error when hitting 'not found' with a the MockVolume"

This reverts commit 97c9b2b49f94735c6d4d5b62b772089ef7e0e3bf.

Better solution in the next commit.

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch uses commit:66efe78 no issue #

Merge branch 'master' into 3141-keep-logging-improvements

Don't send null job creation parameters in arv-run-pipeline-instance.  no issue #

Don't raise exception if filters parameter parses to
json "null".  no issue #

Don't set "too long" flag on websocket test timer if the websocket is already
closed.  Hopefully this will make the tests more robust.  no issue #

Merge branch 'master' into 3140-project-content-tabs

3140: add partials for all the content tabs

oops

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch
uses commit:ee99af1
no issue #

Added note about how to build bcbio-nextgen docker image.  Make
bcbio-nextgen-image depend on bcbio-nextgen/Dockerfile.

Merge branch 'master' into 3140-project-content-tabs

refs #3055
Merge branch '3055-advanced-tab-explanations'

Merge branch 'master' into 3055-advanced-tab-explanations

Merge branch 'master' into 3055-advanced-tab-explanations

job create method parameters need to be converted to json before being passed
to google API client.  no issue #

3140: add Other_objects to pane list

Do not blow up trying to run a job if runtime_constraints is set to nil

no issue #

Add some more detail to the docker installation page.

refs #3131

Merge branch '3174-arv-ls-size-fencepost' closes #3174

Merge branch '2873-permission-links-ownership'

Closes #2873. Huzzah!

Merge branch '2985-shared-projects-descriptions'

Refs #2985, closes #3083, closes #3158.

Update arvados-cli dependency of API server so crunch-dispatch.rb uses
arv-run-pipeline-instance from commit:c806ef1
no issue #

3174: Round up, not down, when reporting file sizes in KB.

3174: Heed "common" section of config yaml the same way apiserver does.

Merge remote-tracking branch 'origin/master' into job-docker-images

docker: mkimage-debootstrap.sh: wrap which calls that are expected to
fail in a set +e/set -e block

no issue #

"filters" is now propagated through from pipeline component to the job
submission.  Also added example filter to documentation.  no issue #

Docker job's $HOME is now inside docker container, we don't need a special
separate $HOME for arv-mount.

3140: add additional content tabs to pane list

3140: Move tab line buttons, remove show filtering widget

2873: more code review changes

* get_permissions sets @offset and @limit explicitly to ensure that
  render_list does the right thing.

* Tests updated to use permission links on Groups (permissions are not
  yet working for other objects)

* Added tests for "uuid exists but is unreadable" and "uuid is readable
  but not manageable"

Refs #2873.

fix bwa_index

Backed that out, make a symlink to tool-data instead

tool-data in work

fix sub R1 R2

refer template directly

write template

open for writing

fix config copy

fixed syntax error

Fixed +x

First try at bcbio-nextgen script

2985: display project descriptions inline

Project descriptions in the "My Projects" and "Projects shared with
me" panels are displayed inline next to the project name, not in a
tooltip.

Refs #2985, refs #3083.

Improve output messages a bit

Do not mount $TASK_WORK inside the container; scratch space is entirely
contained so it can be cleaned up by docker when the container is deleted.  Add
--rm=true to automatically clean up docker containers when they exit.

Merge branch '3151-permission-ttl'

Closes #3151.

3151: use 2-week default permission TTL

Fixes #3151.

Typo fix ${HOME} -> $ENV{HOME}

3055: add explanation to the example commands in the advanced tab.

Should probably wait to install ruby before setting GEM_HOME and friends.

Use separate $HOME for commands run outside the docker
container (e.g. arv-mount) and commands inside the docker container because of
the user id mapping problem.  Converted docker command line to use long form
for readability.

Use 'install' to create /keep, /tmp/crunch-src, /tmp/crunch-job mountpoints in
the docker image.  Changed some commands to use long command line parameters
for readability.

Merge branch '3118-docker-fixes'

refs #3118

Remove superfluous cd commands

refs #3131

Fix up link in the docker alert box.

refs #3131

The linkchecker rake task should return with the exit code of linkchecker.

no issue #

Merge branch '3118-docker-fixes'

refs #3118

Add state of the docker installation alert to the top of the docker
installation page, too.

Merge branch 'master' into 3141-keep-logging-improvements

2873: changes for code review

Incorporating code review comments:

* @Link#get_permissions@ uses @Link.where@ instead of @find_objects_for_index@; @find_object_for_uuid@ just populates @@object@ with the head_uuid object and leaves @@objects@ alone.
* @ArvadosModel.lookup_by_uuid@ renamed @ArvadosModel.find_by_uuid@ and punts to the superclass if called as a subclass method.
* Test @get_permissions_returns_list@ checks that the :active user can get permissions. Also uses the group fixtures for testing permissions instead of collections (because can_manage permissions only work so far on users and groups.

(refs #2873)

Do not print an error when hitting 'not found' with a the MockVolume
backend.

Move error logging for block-not-found from GetBlock to GetBlockHandler.

It doesn't belong in GetBlock because GetBlock is also called from
PutBlock, which checks to see if a block exists before it writes it
again.

In other words, in the most common scenario (a PUT of a new block), Keep
should not print a bogus error message.

UnixVolume has no business being loud about files that can not be found.
Just pass on the error to the caller and be quiet.

Back story: for every PUT, Keep checks if the block already exists.
Prior to this patch, UnixVolume would complain loudly if the block did
not already exist in the volume (i.e. the normal case for a PUT).

Change crunch-dispatch to use "git fetch-pack --all" insted of "git fetch" to
fetch entire repository instead of just the history for HEAD.  This seems to be
the only way to ensure that arbitrary script version hashes not in the history
of the source's HEAD are fetched without using refs (tags or branches).
no issue #

Add documentation to doc.arvados.org for the local Docker install.

Merge branch 'master' into job-docker-images

Add explicit version constraint < 1.0.0 on 'jwt' gem for arvados-cli, because
google-api-client gem dependecy breaks with jwt 1.0.0.  no issue #