Merge branch 'master' into 3505-virtual-work-dir

3505: tinker with logging

3505: Fix typo in run-command

3505: Move helper scripts into crunchutil module.  In run-command, added
task.stdin redirection, and renamed save.stdout to task.stdout for consistency.
Stylistic change "x == None" and "x != None" to "x is None" and "x is not
None".

Merge branch '3421-wide-project-tables-wip'

Closes #3421, #3584.

3421: Make Workbench project contents tables variable width.

This change will ensure that users can see the "edit name" buttons, by
letting a table row grow as needed to accommodate long names.  It puts
each row's buttons in dedicated cells to try to stay true to the
original layout as much as possible.

Merge branch '3405-pipeline-error-logging-wip'

Closes #3405, #3582.

3405: Mark pipeline instances failed when they're aborted.

3405: Log errors about launching pipeline instances.

There's a couple of components to this:

* Do some basic checks on the organization of the pipeline instance
  before we start running it, and abort if any of them fail.

* If the pipeline runner aborts for any reason, send that as pipeline
  instance stderr to the API server, so other tools like Workbench can
  render it for users' benefit.

3505: Fixed typo comparison of list against 0 instead of len(list).

3505: Adjust order of initialization to reflect potential side effects (e.g. file
creation) on using functions such as $(glob) in the command.

Fix degenerate case exponential runtime in regular expression use by
CollectionReader to validate locators and manifests.  no issue #

Merge branch '3457-pysdk-logging-wip'

Closes #3457, #3577.

3457: Make arv-get display interface messages directly.

The logger isn't appropriate for this.

3457: Revamp Python SDK and tool logging.

The primary goal of this commit is to introduce a dedicated logging
object to the arvados module, which we configure to our
specifications, and use it consistently throughout the SDK and tools.
This lets us handle our logging configuration consistently in one
place, and avoid interfering with logging in SDK users.  I made some
minor style changes to logging calls while I was at it.

Added virtual working directory "task.vwd" option to run-command.  Added
"task.cwd" to set the starting directory.  Refactored upload retry logic from
run-command into robust_put.py and modified decompress-all to use it.  no issue #

Update Gemfile to use crunch-job from latest arvados-cli gem. refs #3570

closes #3296
Merge branch '3296-user-profile'

3296: fix test issue

3296: fix tests

Merge branch 'master' into 3296-user-profile

Fix repositories.get_all_permissions to report manage, write, and read. refs #3525

Merge branch '3531-sort-jobs-with-pipelines' closes #3531

Fix "undefined method `uuid' for nil:NilClass". closes #3576

Fix regular expression in decompress-all.py  refs #3373

Fix syntax error in decompress-all.py  refs #3373

3531: Pass through tab_pane to reused partials, so element IDs are really unique
across tabs.

3531: Fix ordering of combined results, add test. Anchor "desc" regexp.

Merge branch '3373-improve-gatk3-snv-pipeline' closes #3373

3373: Test filename extension before attempting to call dtrx.  Non-zero dtrx exit code is now treated as failure.

Merge branch 'master' into 3296-user-profile

Merge branch '3178-discoverable-parameters' closes #3178

3572: Set state to RunningOnServer if --submit given. closes #3572

Merge branch '3570-crunch-race' closes #3570

Merge branch '3412-full-collections-index'

Closes #3412, #3534.

Merge branch 'master' into 3296-user-profile

3296: add span tag to profile message in config to serve as an example for admins.

3412: Make manifest_text selectable from Collections index API.

3412: Make non-database fields selectable from API server.

This makes it possible to pass method-back field names, like
"data_size" and "files" from Collections, to the select parameter.

3412: Refactor common manifest munging in API Collections controller.

3412: Clean API Collections controller trailing whitespace.

3296: cover the case where prefs was there but no profile in profile check.

Update more PGP web links. No issue #

Update PGP download link. No issue #

3178: Merge bogus _setup_requires_parameters into existing class method.

3570: Use exit code 75 to mean "temporary locking failure". Add comments.

Merge branch 'master' into 3296-user-profile

3296: break the tests into multiple tests

3296: minor updates to profile page display

Merge branch '3489-indicate-initial-project-filter' closes #3489

3296: split profile config into two parameters: one for fields and one for message.

3531: Move the tab_line_buttons sections out of the tab pane partials
into the appropriate "index" and "show" pages.

Until now, we have been predicting which tab pane will be rendered
with the initial page view, and putting content_for :tab_line_buttons
in that pane. But the tab_line_buttons aren't really in that tab pane,
so they really don't deserve to be in that partial.

This worked as long as the initial tabs were being rendered in a
different way than subsequent tab loads. Now that we render all tab
pane contents using the same helper method, we have to clean this up.

Merge branch '3570-crunch-race' closes #3570

3296: check for prefs_changed instead of cycling through all changes.

3531: Make test case less confusing.

3531: Add large limit parameter to ensure we get all of the user/group objects
we want (within reason).

3531: Dry up tab pane rendering. Fix copy-and-paste error on tab_name.

3531: Do not assume order is always descending.

3489: Add test for correct dropdown text.

3489: Degrade nicely if initial filter refers to an unreadable project.

3489: Remove debug comment.

Fix broken link again. refs #3254

Fix broken links. refs #3254

Merge branch '3254-run-job-locally-docs' closes #3254 refs #3556

3254: Typo fix "reproducibilty" -> "reproducibility".  Changed use of the term "parallel" to "concurrent" refs #3556

3570: Do not fail the job when crunch-job loses a locking race during startup.

Merge branch '3212-pipeline-no-reuse' closes #3212

3178: Discover required parameters for regular CRUD methods, too.

3178: Use different discovery doc cache files for different API servers.

Also port "use api even if discovery cache file can't be written"
rescue block from arvados-cli to arvados gem.

3178: Add missing jobs.create and users.setup parameters to discovery document.

3531: Fix test to accommodate more ajax.

3531: Fix name-editing behavior: preserve name_links when merging results.

3531: Look up relevant portion of uuid->{user,group} map when loading projects tab.

3531: Hook infinite-scroll to resize events.

Resizing the browser window can reveal the bottom of an
infinite-scroll element without triggering a scroll event. Listening
for resize events ensures we notice when this happens.

3296: profile redirection works perfectly now that session caching is removed.

Merge branch '3296-user-profile' of git.curoverse.com:arvados into 3296-user-profile

3531: Add tests for sort order on "jobs and pipelines" tab.

3531: Remove debug limit.

3531: Use dropdown caret instead of down arrow on selection dropdown.

3531: Fix horizontal alignment of selectable and non-selectable things.

3296: after profile is filled in by user, bring the user back to profile page with message saying all set and provide button to take to the desired target. for improved ui experience.

3531: Refactor project tab infinite-scroll. Sort jobs and pipelines
together by date, instead of sorting first by type.

3212: Support arv-run-pipeline-instance --no-reuse --submit

3296: Remove session cache of user record to prevent synchronization problems.

3296: fix test

3296: good tests do add value.

3296: update tests

3296: profile notification email setting is now on server

3296: send email when profile is created by user. add tests to profile mailer.

Merge branch 'master' into 3296-user-profile

3296: use update method and remove unnecessary update_profile method

Fix repositories.get_all_permissions, add tests. closes #3546

3373: split-fastq: Fix loop

3373: split-fastq: Fix regex again

3489: Indicate initially selected project in chooser. closes #3544

3373: Fix wrong regex group

3373: Fix syntax error in split-fastq

3373: more run-command cleanup, global p -> taskp, tweaked logging levels

Merge branch '2769-disable-delete-flag' closes #2769

3373: arv-run-pipeline-instance: removed .to_json where objects are supplied to :body_object and will be serialized anyway.