2044: Add Workbench interface to manage project sharing.

This empowers administrators to add, modify, and remove permission
links on projects.

2044: Workbench route to share a project with others.

This route is intended to support AJAX requests from the interface to
share a project with one or more users/groups.

2044: Workbench can query the API /permissions method.

2044: Add more helpers to get FA icons for objects.

2044: Workbench supports API select parameter.

This can help ensure symmetry between admin and non-admin requests for
the user index.

2044: API server lets group managers see group permission links.

This implementation hooks into find_object_by_uuid because that was
the simplest thing that could work and unblock larger development on
this story.  Longer-term, we would like to solve this problem more
generally.  See the comments added to the links controller test for
more explanation about that.

2044: All users can give all other users folder permissions.

This supports a Workbench sharing button, the same way that the
changes to users#index does.

3303: Add logfile support to arv-mount.

The primary thrust of this commit is to teach arv-mount to log to a
file.  This can help make it easier to track down exceptions that
happen while the process is daemonized.

To support better logging information, it also sends exception
tracebacks directly to the log.  This required reorganizing the code
to daemonize earlier.

Refs #3303.

Merge branch '3214-permission-to-use-owner-uuid'
closes #3214

3214: Merge branch 'master' into 3214-permission-to-use-owner-uuid

3214: Readability: rearrange conditionals, and say "old" instead of "existing"

3214: Split independent unit tests into separate test cases.

3252: Include README in Python source manifest.

The real issue with our Python package builds is that this file isn't
being included, which causes setup.py to fail when it's run from a
source tarfile.  It *is* being included on my box, but that seems to
be because of extra information from git, or lingering information in
my .egg-info directory.  This change should make sure README is
included when a clean sdist is prepared.

This reverts commit e16c1ecc8097fd586e86fc90206836000b5f5004,
since that wasn't the real bugfix.  Refs #3252.

closes #3160
Merge branch '3160-copy-unnamed-pipeline'

Merge branch 'master' into 3160-copy-unnamed-pipeline

3160: use blank name when copying any object with no name, not just pipeline instances.

3252: Fix README location in setup.py scripts.

Refs #3252.

Merge branch '3252-py-sdk-install-docs-wip'

Closes #3252.

3214: Fix unclosed HTML tag.

3214: Ensure current_user has write permission on the new owner when setting owner_uuid.

3214: "New project" link in top nav dropdown create a new project at top level, instead of inside the current project.

3160: use blank name when copying an unnamed pipeline instance.

3252: Add Python package documentation.

This documentation will be displayed nicely on both GitHub and PyPI.

3252: Make Python tests runnable from setup.py.

This does a couple of things for us:

* It makes the tests more discoverable and easier to run, which makes
  for cleaner documentation.  The new command to run tests is
  `python setup.py test` (the old command still works too).

* Because the test dependencies are expressed in setup.py, we can get
  rid of duplication from keeping around requirements.txt.

Do not set action_mailer config settings in production.rb.example, we
configure these via application(.defaults).yml now.

no issue #

3220: Merge branch '3220-http-status-codes' closes #3220

3220: Fix whitespace

closes #3106
Merge branch '3106-modal-loading-indicator'

Merge branch 'master' into 3106-modal-loading-indicator

3220: fix tests

3195: Add job reuse test.

I wrote this while debugging a user-reported issue.  Ultimately the
issue ended up being a bug in the database, but no point letting a
good test go to waste.

Refs #3195.

Merge branch '3195-bugfix-job-min-script-ver'

Closes #3195.  There may be other issues here but we need more
information to debug them.

Improve API server's git rev-list calls.

This doesn't completely silence errors, but it makes them less verbose
and prevents git from trying to look up paths, which we never want.

3195: Improve error handling in Job creation API.

* Express the default filters using high-level operators, then convert
  them to SQL filters using the same conversion logic users get.

* Raise an ArgumentError when a git version search fails.

* Render normal error pages from ArgumentErrors.

Merge branch '2044-api-users-index-wip'

Refs #2044.  Closes #3217.

2044: Improve API test fixtures around projects.

This change adjusts the API server test fixtures to look more like
real data would: items in projects have the project's UUID as their
owner_uuid.

2044: API filters can search on boolean columns.

2044: Non-admins get all users' basic info from index API.

This will support a Workbench feature to let users at the same site
share projects with each other.  Adding kind to index requests with
select parameters is necessary to help Workbench understand the
result.

There was extensive discussion on IRC about whether or not e-mail
addresses should be included in this information.  We toyed with ideas
like providing an e-mail address checksum, so that you could find
exact but not partial matches.  Ultimately I decided that none of
those measures were worth the hassle, because the domain of addresses
at any given site would be small enough that they would easily be
discoverable through brute force.

3113: Make job task test more robust.

Per Tom's feedback in refs #3113.
I should've made this change before I merged; apologies.

Merge branch '3113-qsequence-serial'

Refs #3113.  This is a useful bugfix, but we need to test whether
this fully resolves the issue.

3113: API server assigns task qsequence from a PostgreSQL sequence.

We always wanted monotonically increasing qsequence values.  This
implements that.

Because sequences are specific to PostgreSQL, it can't be expressed in
schema.rb.  This commit switches our Rails configuration to dump the
database schema in SQL to capture that.

PostgreSQL supports assigning a column's default value from a
sequence, but this doesn't play well with ActiveRecord.  Without more
information, it always tries to assign NULL as the column value,
rather than leaving it unassigned to get the default.  We have to get
the value from inside the model.

3113: Remove qsequence assignment shim. Clarify "do not load tasks
queued by a failed task" logic in crunch-job.

The --pretty option was removed from arv some time ago. Do not refer to
it in under the 'Advanced' tab in workbench.

no issue #

Fix broken links to SSH key help page. no issue #

3220: Adjust disk corruption behavior: If both corrupt and intact
copies exist, log the corruption when noticed, but return the intact
copy to the client instead of an error.

3220: Fix HTTP status codes.

Merge branch '3219-further-docker-improvements'

refs #3219

Update the documentation to reflect the new, safer build.sh --realclean
behavior.

refs #3219

Be smarter about building and the --realclean option:

* remove intermediate containers after a successful build
* --realclean removes only images labelled arvados/*
* --realclean removes only arvados containers

refs #3219

Sanitize how we handle the --ssh option in the api docker container.

refs #3219

Merge branch '3219-further-docker-improvements'

refs #3219

Be consistent about the version of ruby that is installed by rvm and
used by the various containers. Be consistent about using rvm-exec and
bundle exec in every command that uses ruby.

Add documentation and warning about --realclean option to build.sh

refs #3219

Whitespace fix.

refs #3219

Another tweak to tutorial-job-debug.html.textile.liquid

no issue #

Be more explicit that hello-world.py is a script which is expected to fail.

no issue #

Improve arv-run-pipeline-instance's logging when it encounters an error.

no issue #

Give API server arv-run-pipeline-instance bugfix.

This commit ensures that crunch-dispatch gets the bugfix in b5b0f8c9.
No issue #.

3106: show the spinner in the middle of the popup header

Merge branch 'master' into 3106-modal-loading-indicator

3201: Simplify logic to decide "My Projects" is selectable.

Thinking about it on the commute home, I decided that my previous
implementation that inspected action_href (e007ef71) was too clever by
half.  Following the adage that explicit is better than implicit, this
version provides a knob you can turn to just say whether or not "My
Projects" is selectable.

Closes #3201.

closes #3203
Merge branch '3203-workbench-tutorial'

Merge branch 'master' into 3203-workbench-tutorial

3201: Only Projects can be moved to "My Projects."

Before this commit, it was possible to move any object that goes in
folders to "My Projects."  If you did, it would be removed from any
project, and owned by the user directly.  This is non-obvious.  Data
should be removed from projects by using the trash icon on the project
page instead.

Closes #3201.

arv-run-pipeline-instance doesn't submit nil Job parameters.

This is the same principle that we already take with POST parameters,
applied to the body of the Job itself.  It immediately prevents
sending nil runtime_constraints, which the API server doesn't accept.
It should also mean that any error messages passed on from the API
server are more likely to be helpful.

No issue # - reported by Abram on IRC.

Merge branch 'master' into 3203-workbench-tutorial

3203: fix doc issues with old dashboard references.

Start API pipeline integration test.

No issue #.  I wrote this while debugging the issue in the previous
commit.

3203: fix doc issues with compute references.

3209: arv-run-pipeline-instance sends instance body as JSON.

If we don't encode the body as JSON ourselves, the API client library
will omit empty attributes.  This can cause required component
attributes like script_parameters to be lost, so we need to circumvent
that behavior.  It also seems safe, since we already do the same
encoding in the update method.  Closes #3209.

Merge branch 'resumable-output-upload'. Adds signal handling and error recovery
when uploading job output to run-command wrapper.  refs #2342

Actually use the resume cache

Merge branch 'master' into 3203-workbench-tutorial

3203: Update the pipeline tutorial page to run pipeline from a project.

Turns out sys.exit runs finally: blocks.

Add debugging

Wrong num args

SigHandler object

Still messing with signals.

Fix wrong number of parameters

Record signals a different way

More work on signal handling

Forward signals to process.

3203: Update "Accessing Arvados Workbench" page.

refs #2380 Needed to updated all docs referencing to SSH documentation.
Merge branch '2380-ssh-doc'

2380: ssh doc references are updated to point to the right env.

Use resumable upload writing output in run-command

closes #2380
Merge branch '2380-ssh-doc'

Merge branch 'master' into 2380-ssh-doc

Merge branch '3206-keepproxy-use-client-token' closes #3206

Merge branch '3078-arv-put-name-links'

Closes #3078, #3176, #3205.

3176: Fix arv-put's resume cache writing.

Refactoring directory creation into _util accidentally broke this:
arv-put was trying to save the cache to a relatively directory that
almost never existed, and then silently ignored the error.

3078: Add arv-put options to add the upload to a Project.

3078: arv-put supports dynamic stderr.

3078: arv-put always writes progress before starting work.

It previously did this when resuming, but there's no reason we
shouldn't do it when starting fresh as well.

Merge branch 'master' into 2380-ssh-doc

2380: update the add key image and text

Keepproxy use client-supplied token when forwarding GET and PUT requests.

2380: more updates

2380: Extract common documentation items from Unix and Windows environments into include files.

missing paren typo in arvados-bcbio-nextgen.py.  refs #2991