3113: API server assigns task qsequence from a PostgreSQL sequence.

We always wanted monotonically increasing qsequence values.  This
implements that.

Because sequences are specific to PostgreSQL, it can't be expressed in
schema.rb.  This commit switches our Rails configuration to dump the
database schema in SQL to capture that.

PostgreSQL supports assigning a column's default value from a
sequence, but this doesn't play well with ActiveRecord.  Without more
information, it always tries to assign NULL as the column value,
rather than leaving it unassigned to get the default.  We have to get
the value from inside the model.

3113: Remove qsequence assignment shim. Clarify "do not load tasks
queued by a failed task" logic in crunch-job.

Give API server arv-run-pipeline-instance bugfix.

This commit ensures that crunch-dispatch gets the bugfix in b5b0f8c9.
No issue #.

3201: Simplify logic to decide "My Projects" is selectable.

Thinking about it on the commute home, I decided that my previous
implementation that inspected action_href (e007ef71) was too clever by
half.  Following the adage that explicit is better than implicit, this
version provides a knob you can turn to just say whether or not "My
Projects" is selectable.

Closes #3201.

closes #3203
Merge branch '3203-workbench-tutorial'

Merge branch 'master' into 3203-workbench-tutorial

3201: Only Projects can be moved to "My Projects."

Before this commit, it was possible to move any object that goes in
folders to "My Projects."  If you did, it would be removed from any
project, and owned by the user directly.  This is non-obvious.  Data
should be removed from projects by using the trash icon on the project
page instead.

Closes #3201.

arv-run-pipeline-instance doesn't submit nil Job parameters.

This is the same principle that we already take with POST parameters,
applied to the body of the Job itself.  It immediately prevents
sending nil runtime_constraints, which the API server doesn't accept.
It should also mean that any error messages passed on from the API
server are more likely to be helpful.

No issue # - reported by Abram on IRC.

Merge branch 'master' into 3203-workbench-tutorial

3203: fix doc issues with old dashboard references.

Start API pipeline integration test.

No issue #.  I wrote this while debugging the issue in the previous
commit.

3203: fix doc issues with compute references.

3209: arv-run-pipeline-instance sends instance body as JSON.

If we don't encode the body as JSON ourselves, the API client library
will omit empty attributes.  This can cause required component
attributes like script_parameters to be lost, so we need to circumvent
that behavior.  It also seems safe, since we already do the same
encoding in the update method.  Closes #3209.

Merge branch 'resumable-output-upload'. Adds signal handling and error recovery
when uploading job output to run-command wrapper.  refs #2342

Actually use the resume cache

Merge branch 'master' into 3203-workbench-tutorial

3203: Update the pipeline tutorial page to run pipeline from a project.

Turns out sys.exit runs finally: blocks.

Add debugging

Wrong num args

SigHandler object

Still messing with signals.

Fix wrong number of parameters

Record signals a different way

More work on signal handling

Forward signals to process.

3203: Update "Accessing Arvados Workbench" page.

refs #2380 Needed to updated all docs referencing to SSH documentation.
Merge branch '2380-ssh-doc'

2380: ssh doc references are updated to point to the right env.

Use resumable upload writing output in run-command

closes #2380
Merge branch '2380-ssh-doc'

Merge branch 'master' into 2380-ssh-doc

Merge branch '3206-keepproxy-use-client-token' closes #3206

Merge branch '3078-arv-put-name-links'

Closes #3078, #3176, #3205.

3176: Fix arv-put's resume cache writing.

Refactoring directory creation into _util accidentally broke this:
arv-put was trying to save the cache to a relatively directory that
almost never existed, and then silently ignored the error.

3078: Add arv-put options to add the upload to a Project.

3078: arv-put supports dynamic stderr.

3078: arv-put always writes progress before starting work.

It previously did this when resuming, but there's no reason we
shouldn't do it when starting fresh as well.

Merge branch 'master' into 2380-ssh-doc

2380: update the add key image and text

Keepproxy use client-supplied token when forwarding GET and PUT requests.

2380: more updates

2380: Extract common documentation items from Unix and Windows environments into include files.

missing paren typo in arvados-bcbio-nextgen.py.  refs #2991

bc-bio script links gemini reference data.  refs #2991

3204: Remove redundant pull-right from Workbench Collections search.

content_for :tab_line_buttons is already wrapped in a div.pull-right.
Doing that a second time forces the contents into an overly-small
box.

Closes #3204.

refs #3140
Revert back the UI to display only one tab instead of 5 content tabs since it is not working when accessing a project with large amounts of data.
Merge branch '3140-undo-project-content-tabs'

3140: revert multiple content tabs work

add 'import sys' to arvados-bcbio-nextgen.  no issue #

Don't use "arv" command wrapper, call arv-get/arv-put directly.  Avoids
dependency on arvados-cli gem being properly configured on compute node.
no issue #

2380: one more update

Update arvados-cli dependency to correct deployed version. no issue #

Merge branch '3123-pipeline-report-job-submit-errors' closes #3123

Google API client jsonifies the body, so we don't have to.

2380: rename ssh-access.html.textile.liquid as ssh-access-unix.html.textile.liquid

2380: minor updates

Update package version dependencies on arvados-cli to use commit:7bd2ee2

2380: more updates and also correct the link to unix page from within the windows page

arv-run-pipeline-instance sends error message to logs table when job submission
fails.  Pipeline instance view in workbench now shows messages for the pipeline
instance (in addition to the jobs) and shows messages when the pipeline is
failed (not only when it is running.)

Merge branch 'master' into 2380-ssh-doc

closes #3140
Merge branch '3140-project-content-tabs'

crunch-dispatch: make sure to update the info['slurm_state'] for the
correct node, not just the first one that happens to have a matching
hostname in our database.

no issue #

Merge branch 'master' into 3140-project-content-tabs

Merge branch 'master' into 3140-project-content-tabs

Merge branch 'master' into 2380-ssh-doc

2380: more doc updates

2380: minor doc updates

Don't render selection check boxes when using show_file partials from chooser
modal.  closes #3103.

2380: minor doc updates

Consider script_parameters in determining whether to merge script boxes in
pipeline graph drawing.  Also tweaks behavior generating label for
script_parameter boxes to be more compact.  closes #3100

2380: ssh to SSH where applicable

Merge branch 'master' into 2380-ssh-doc

Default arvados-bcbio-nextgen pipeline to use freebayes instead of gatk.  no issue #

arvados-bcbio-nextgen writes output now.  Put write_directory_tree under the
try/except block in run-command.  Tweaked return code output.  no issue #

Bugfix os.environ() -> os.environ[] no issue #

Merge branch 'bcbio-nextgen' refs #2991

Add -n cores to run bcbio in parallel on a multicore node.

Add $(node.cores) substitution to run-program, and add CRUNCH_NODE_SLOTS to
environment passed to docker jobs. no issue #

run-command retry after exception when writing output to keep.  no issue #

Doc: fix link to pipeline instances page in workbench.

no issue #

Merge branch '3185-job-invalid-without-errors' refs #3185

3185: Fix job validation failure with no errors given.

* Do not fail docker validation if runtime_constraints==nil.

* Reposition "check docker image" and "check script version" as
  validations, rather than before_validation and before_create/update
  filters respectively.

* Use valid values for the non-docker attributes in docker test cases.

* Add tests to ensure job validation failures provide error messages.

Move test/functional/arvados/v1/git_setup.rb to
test/helpers/git_test_helper.rb and fix bugs:

* Use "setup do" form instead of "def setup" to avoid clobbering other
  setup tasks

* Restore git_repositories_dir to its original value during teardown,
  to avoid polluting other tests

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch
uses commit:b7de0ac no issue #

Merge branch '2991-job-docker-images' refs #2991

Merge branch '2342-run-command-wrapper' refs #2342

Merge branch '3141-keep-logging-improvements'

This closes #3141

keep: MockVolume should return os.ErrNotExist instead of errors.New("not
found") when a block can not be found, just like a real volume.

Revert "Do not print an error when hitting 'not found' with a the MockVolume"

This reverts commit 97c9b2b49f94735c6d4d5b62b772089ef7e0e3bf.

Better solution in the next commit.

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch uses commit:66efe78 no issue #

Merge branch 'master' into 3141-keep-logging-improvements

Don't send null job creation parameters in arv-run-pipeline-instance.  no issue #

Don't raise exception if filters parameter parses to
json "null".  no issue #

Don't set "too long" flag on websocket test timer if the websocket is already
closed.  Hopefully this will make the tests more robust.  no issue #

Merge branch 'master' into 3140-project-content-tabs

3140: add partials for all the content tabs

oops

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch
uses commit:ee99af1
no issue #

Added note about how to build bcbio-nextgen docker image.  Make
bcbio-nextgen-image depend on bcbio-nextgen/Dockerfile.

Merge branch 'master' into 3140-project-content-tabs

refs #3055
Merge branch '3055-advanced-tab-explanations'