Merge branch 'master' into 3193-manage-account

3193: add ssh key using popup

Merge branch 'staging'

Closes #3315.  Thanks Guillermo!

Create temporary directory if it does not exist

3321: Workbench copes when pipeline components have an odd form.

Closes #3321.

3193: add wrapping to td elements

Add Keep install instructions (manual).

no issue #

3193: updated the vm section based on Tom's suggestion: let's skip the 'last login' column for now, until we can make logs record the actual VM uuid

Merge branch 'master' into 3193-manage-account

3193: add manage account action to users controller.

Merge branch '3200-ajax-error-handling'

Closes #3200, #3207, #3251, #3276, #3322.

3200: Improve error handling in Workbench's API client.

* Fix the class used for error responses that can be parsed but don't
  have a dedicated subclass.

* Ensure that exception.api_response[:errors] is always an array.

This improves the error reporting for #3207.

3200: X-Editable renders errors even without a message array.

The previous version was causing the X-Editable popup to spin
infinitely when the JSON errors were null.  See #3207, #3251.

3200: Workbench copes better when a tab fails to load.

Merge branch 'master' into 3193-manage-account

3193: add manage account page to topnav.

2044: Improve reporting when project sharing fails.

Our select modal knows how to render an errors key in the JSON
response.  This commit adjusts the project controller to conform to
this convention.  Refs #2044, #3200.

Merge branch '2769-keep-delete-request'

Refs #2769

2769: reorganize REST handlers

Reorganizing REST handlers into their own source file.

Refs #2769.

Fix extra row left behind after deleting a pipeline instance. closes #2929

2044: Make project sharing tests more forgiving of Ajax timing.

Apparently waiting our default 5 seconds is not always sufficient to
get an Ajax response that requires a roundtrip to the API server.
Wait longer in these cases.  Not the most elegant solution, but I
don't see a better option.  Refs #2044.

2044: Workbench resource lists support Enumerable-style select.

Refs #2044.  Enumerable-style select is used in places like the groups
index.

Merge branch '3072-empty-collection-bugfix'

closes #3072.

closes #3140
Merge branch '3140-project-content-tabs'

Merge branch 'master' into 3140-project-content-tabs

Merge branch 'master' into 3140-project-content-tabs

Conflicts:
apps/workbench/app/controllers/projects_controller.rb

3072: rendering "Empty Collection" in default_name

Collection.default_name now renders "Empty Collection" for collection
d41d8cd98f00b204e9800998ecf8427e.

Refs #3072.

Merge branch '3182-workbench-test-race'
closes #3182

3182: Fix races by using find() instead of {sleep; page.has_text?}.

Remove extra spinner. closes #3301

3170: Use find().all() instead of page.all() to accommodate ajax content. refs #3170, #2044

3170: Fix stale use of tab_pane_valid_state. refs #3170

Merge branch '3170-refresh-tab-pane'
closes #3170

3170: Merge branch 'master' into 3170-refresh-tab-pane

3170: Add comments.

Merge branch '2044-workbench-project-sharing'

Closes #2044, #2749, #3238.

2044: Add Workbench interface to manage project sharing.

This empowers administrators to add, modify, and remove permission
links on projects.

2044: Workbench route to share a project with others.

This route is intended to support AJAX requests from the interface to
share a project with one or more users/groups.

2044: Workbench can query the API /permissions method.

2044: Add more helpers to get FA icons for objects.

2044: Workbench supports API select parameter.

This can help ensure symmetry between admin and non-admin requests for
the user index.

2044: API server lets group managers see group permission links.

This implementation hooks into find_object_by_uuid because that was
the simplest thing that could work and unblock larger development on
this story.  Longer-term, we would like to solve this problem more
generally.  See the comments added to the links controller test for
more explanation about that.

2044: All users can give all other users folder permissions.

This supports a Workbench sharing button, the same way that the
changes to users#index does.

3303: Add logfile support to arv-mount.

The primary thrust of this commit is to teach arv-mount to log to a
file.  This can help make it easier to track down exceptions that
happen while the process is daemonized.

To support better logging information, it also sends exception
tracebacks directly to the log.  This required reorganizing the code
to daemonize earlier.

Refs #3303.

Merge branch '3214-permission-to-use-owner-uuid'
closes #3214

3214: Merge branch 'master' into 3214-permission-to-use-owner-uuid

3214: Readability: rearrange conditionals, and say "old" instead of "existing"

3214: Split independent unit tests into separate test cases.

3072: anonymous group can_read empty collection

empty_collection is owned by the system user, like all other
collections. When it is created, a permission link is also created
giving the anonymous group permission to read it.

Added test fixtures for the empty collection and its associated
permission link.

Workbench renders links to the empty collection as "Empty Collection".

The unit test and integration tests focus just on the empty
collection (other collection ownership/readability issues will be
addressed elsewhere).

Merge branch 'master' into 3140-project-content-tabs

3140: fix tests to match the project content display related ui updates

3252: Include README in Python source manifest.

The real issue with our Python package builds is that this file isn't
being included, which causes setup.py to fail when it's run from a
source tarfile.  It *is* being included on my box, but that seems to
be because of extra information from git, or lingering information in
my .egg-info directory.  This change should make sure README is
included when a clean sdist is prepared.

This reverts commit e16c1ecc8097fd586e86fc90206836000b5f5004,
since that wasn't the real bugfix.  Refs #3252.

closes #3160
Merge branch '3160-copy-unnamed-pipeline'

Merge branch 'master' into 3160-copy-unnamed-pipeline

3160: use blank name when copying any object with no name, not just pipeline instances.

3252: Fix README location in setup.py scripts.

Refs #3252.

Merge branch '3252-py-sdk-install-docs-wip'

Closes #3252.

3170: On pipeline instance page, refresh the tab panes rather than the entire page.

3170: Root out evil runtime-generated javascript. Simplify tab loading.

3214: Fix unclosed HTML tag.

3214: Ensure current_user has write permission on the new owner when setting owner_uuid.

3214: "New project" link in top nav dropdown create a new project at top level, instead of inside the current project.

3160: use blank name when copying an unnamed pipeline instance.

3252: Add Python package documentation.

This documentation will be displayed nicely on both GitHub and PyPI.

3252: Make Python tests runnable from setup.py.

This does a couple of things for us:

* It makes the tests more discoverable and easier to run, which makes
  for cleaner documentation.  The new command to run tests is
  `python setup.py test` (the old command still works too).

* Because the test dependencies are expressed in setup.py, we can get
  rid of duplication from keeping around requirements.txt.

3140: this file is not longer used. instead, other files are introduced to replace it.

Merge branch 'master' into 3140-project-content-tabs

3140: apply infinite scrolling if the container is visible, when working with multiple containers in window.

3140: infinite-scroller

Do not set action_mailer config settings in production.rb.example, we
configure these via application(.defaults).yml now.

no issue #

3220: Merge branch '3220-http-status-codes' closes #3220

3220: Fix whitespace

Merge branch 'master' into 3140-project-content-tabs

closes #3106
Merge branch '3106-modal-loading-indicator'

Merge branch 'master' into 3106-modal-loading-indicator

3072: add an empty collection in db seeds

Added empty collection (owned by the anonymous group) to test fixtures
and to db/seeds.rb.

API integration tests: in permissions_test.rb, test that the active user
can read objects in the anonymous group, even when there are no explicit
permission links on that group or objects in it.

Workbench integration tests: added a test to confirm that a non-admin
user can get the empty collection.

Cleanup code: User.can? now takes either a uuid or an object for the target.

Refs #3072.

3220: fix tests

3195: Add job reuse test.

I wrote this while debugging a user-reported issue.  Ultimately the
issue ended up being a bug in the database, but no point letting a
good test go to waste.

Refs #3195.

3140: search in a tab should update results for that tab

3140: use correct id for scroller

Merge branch 'master' into 3140-project-content-tabs

Merge branch '3195-bugfix-job-min-script-ver'

Closes #3195.  There may be other issues here but we need more
information to debug them.

Improve API server's git rev-list calls.

This doesn't completely silence errors, but it makes them less verbose
and prevents git from trying to look up paths, which we never want.

3195: Improve error handling in Job creation API.

* Express the default filters using high-level operators, then convert
  them to SQL filters using the same conversion logic users get.

* Raise an ArgumentError when a git version search fails.

* Render normal error pages from ArgumentErrors.

Merge branch '2044-api-users-index-wip'

Refs #2044.  Closes #3217.

2044: Improve API test fixtures around projects.

This change adjusts the API server test fixtures to look more like
real data would: items in projects have the project's UUID as their
owner_uuid.

2044: API filters can search on boolean columns.

2044: Non-admins get all users' basic info from index API.

This will support a Workbench feature to let users at the same site
share projects with each other.  Adding kind to index requests with
select parameters is necessary to help Workbench understand the
result.

There was extensive discussion on IRC about whether or not e-mail
addresses should be included in this information.  We toyed with ideas
like providing an e-mail address checksum, so that you could find
exact but not partial matches.  Ultimately I decided that none of
those measures were worth the hassle, because the domain of addresses
at any given site would be small enough that they would easily be
discoverable through brute force.

3113: Make job task test more robust.

Per Tom's feedback in refs #3113.
I should've made this change before I merged; apologies.

Merge branch '3113-qsequence-serial'

Refs #3113.  This is a useful bugfix, but we need to test whether
this fully resolves the issue.

3113: API server assigns task qsequence from a PostgreSQL sequence.

We always wanted monotonically increasing qsequence values.  This
implements that.

Because sequences are specific to PostgreSQL, it can't be expressed in
schema.rb.  This commit switches our Rails configuration to dump the
database schema in SQL to capture that.

PostgreSQL supports assigning a column's default value from a
sequence, but this doesn't play well with ActiveRecord.  Without more
information, it always tries to assign NULL as the column value,
rather than leaving it unassigned to get the default.  We have to get
the value from inside the model.

3113: Remove qsequence assignment shim. Clarify "do not load tasks
queued by a failed task" logic in crunch-job.

Merge branch 'master' into 3140-project-content-tabs

3140: infinite scrolling in tab content display

The --pretty option was removed from arv some time ago. Do not refer to
it in under the 'Advanced' tab in workbench.

no issue #

3140: address tab content mangling issue when infinte scrolling is applied to tabs due to large data.

Fix broken links to SSH key help page. no issue #

3220: Adjust disk corruption behavior: If both corrupt and intact
copies exist, log the corruption when noticed, but return the intact
copy to the client instead of an error.

3220: Fix HTTP status codes.

Merge branch '3219-further-docker-improvements'

refs #3219