Add libpcre3-dev dependency. Sort package names in apt-get install command.

No issue #

2800: Delay API client creation in Python CollectionReader.

This more closely matches prior behavior, and is necessary to make the
Keep tests pass.  See included comments for detailed rationale.
Refs #2800.

Treat success=true exitcode!=0 as success when collating output,
just like we did when we decided the task completed. No issue #

Merge branch '2800-pysdk-no-global-keep-client-wip'

Closes #2800, #3639.

2800: Use local KeepClients in Python SDK tests.

This improves test isolation, and demonstrates the preferred way to
use the API.

2800: Introduce TestCaseWithServers to Python SDK.

This is a subclass of unittest.TestCase.  It looks for specific class
variables to launch supporting Arvados servers for subclass test
cases, taking care to adjust the environment and local Arvados
configuration to match.  Put another away, this refactors a number of
similar setUpClass/tearDownClass methods throughout the SDK tests.

2800: Make run_test_server put Keep tempfiles in tests/tmp/.

2800: Use dedicated logger in Python SDK api module.

2800: Migrate from Keep to KeepClient in the Python SDK.

2800: Remove global state from KeepClient.

This commit makes it possible to build and use a KeepClient that isn't
influenced by changes in outside state.  Changing the KeepClient based
on global state has been pushed up to the simple Keep class.

This commit changes the tests as little as possible to demonstrate
backward compatibility.  Refactoring the tests to build KeepClients
directly will come in the future.

2800: Improve spec conformance of Python SDK KeepLocator.

* Require size to immediately follow digest.
* Accept all valid hints.

2800: Introduce config.flag_is_true() to Python SDK.

Merge branch '3499-home-project-docs-wip'

Closes #3516.  Refs #3499.

3499: Update Keep tutorial for recent UI changes.

3499: Update pipeline tutorial for recent UI changes.

3499: Improve style consistency throughout docs.

* Capitalize Dashboard.

* Article use: "access Workbench," "access the Dashboard."

* Bold references to Workbench UI elements.

* Make example Arvados environment variables more realistic.

Merge branch '3610-pipeline-log-refresh' closes #3610

3610: Move live log display into its own tab, avoid clobbering with tab reload.

* PipelineInstances#show gets a Log tab dedicated to the live log
  window, rather than hiding it below the components table.

* Jobs#show uses its Log tab to show a live log window (instead of a
  teaser) when the log is not yet finished/written to disk.

* In both cases, the live log window's tab pane intercepts and ignores
  the arv:tab:reload event. (Previously, in addition to appending log
  entries to the live window, websocket events would trigger a
  "refresh all tabs" event, which would blow away the whole log viewer
  anyway.)

* Behave sensibly when multiple lines of stderr arrive in a single
  websocket update event.

* Stop displaying "update {pipeline-uuid}" messages that have no
  additional content.

* Stop scrolling to bottom every time an ajax:complete fires
  somewhere. (Previously, seeing anything above the last page of logs
  was somewhere between annoying and impossible.)

* Make the log window taller.

Merge branch '3114-copy-to-project' closes #3114

3114: Follow return_to param, if given, when redirecting users#show to projects#show.

Don't redirect non-html requests.

3114: Update test case: searching for own uuid now shows home project.

3114: Merge branch 'master' into 3114-copy-to-project

3593: Add explanatory comment about Workbench's user cache.

Refs #3593.

3114: Fix href in json response for generic #create action too. See 7485476.

Merge branch '2800-pgs' refs #2800

2800: Sort import statements.

Merge branch '3604-theme-and-new-user-process' closes #3604

2800: Restore deleted comment which is still relevant.

2800: Remove unnecessary sha1. Just use the tuple as an array key.

3604: Remove useless slice.

3604: Remove useless loop.

Do not try to predict uuid of new collection. refs #3261 refs #3504

Do not throw away permission hints when writing data. refs #3261

3604: Update comment to reflect lack of built-in default.

3604: Remove unused style.

Display progress by default when writing to regular files and stderr isatty. No issue #

Merge branch '3441-python-keep-log-level' refs #3441

3604: Fix user deactivation test.

3604: Fix tests, and restore ability to view user agreement before completing profile.

3604: Fix up profile and redirect handling.

3604: Fix user_agreements behavior, update tests to expect redirects.

3604: Add test for redirect to welcome page

3604: Verify permission cache behavior in unsetup test

3604: Remove test for persistent/cache switch on wrong page.

3604: Do not check for notifications if user is not even activated.

3604: Fix stale permission cache by using destroy instead of delete.

3604: Fix theme support for welcome page

3441: Change logging level of nonfatal Keep errors to "debug".

2800: Clean up exceptions, variable names, handling of discoveryServiceUrl vs host args.

2800: Merge branch 'master' into 2800-pgs

Merge branch '2800-python-global-state' into 2800-pgs

Conflicts:
sdk/python/arvados/api.py

docker: be a bit smarter in the make clean target, so that we also
accomodate diretories underneath the generated directory.

refs #3551

Merge branch '3593-workbench-exception-rendering'

Closes #3593, #3595.

3593: Another round of hardening Workbench's render_exception.

render_exception was counting on session[:user] to help render the
error page.  We recently excised that, which is turning exceptions
into 500s.  This commit restores the session user object, but uses it
only for error rendering, in keeping with the spirit of the previous
revert.  This commit also defends against more possible failure cases
in render_exception, and adds a basic test for it.

gitignore sdk/cli/vendor. refs #3551

Restore trailing newline in manifest format sanity check.

Amends 3cc80b447efcaf416ea4d6857d6d40583e462ff8
No issue #

Merge branch '3551-go-layout' closes #3551

3551: Merge branch 'master' into 3551-go-layout

Merge branch '3505-virtual-work-dir' refs #3505

Merge branch 'master' into 3505-virtual-work-dir

3505: tinker with logging

3505: Fix typo in run-command

3505: Move helper scripts into crunchutil module.  In run-command, added
task.stdin redirection, and renamed save.stdout to task.stdout for consistency.
Stylistic change "x == None" and "x != None" to "x is None" and "x is not
None".

3551: Revert "3551: When testing keep clients, write keepstore/keepproxy logs to"

This reverts commit 63871346153fea194b169eec38f6efae3061ebf6.

The default Popen behavior is to use stderr, and that's fine. This was
a mistaken attempt to reveal missing logs, the real solution for which
is 5fcff4c13ae17527ee1efd6fa01d08133212085b.

3551: Remove superfluous chmod(). Umask is 022 here.

3114: bug fix: when rendering JSON response to a generic #show action, correctly set an 'href' attribute in the response to be the #show url for the object

Increase Capybara timeout to accommodate slow test server. No issue #

Report unexpected slurm states as "down". No issue #

3551: Use FileUtils.rm_r so deleting stale generated/{dir} works.

Merge branch '3421-wide-project-tables-wip'

Closes #3421, #3584.

3421: Make Workbench project contents tables variable width.

This change will ensure that users can see the "edit name" buttons, by
letting a table row grow as needed to accommodate long names.  It puts
each row's buttons in dedicated cells to try to stay true to the
original layout as much as possible.

Merge branch '3405-pipeline-error-logging-wip'

Closes #3405, #3582.

3405: Mark pipeline instances failed when they're aborted.

3405: Log errors about launching pipeline instances.

There's a couple of components to this:

* Do some basic checks on the organization of the pipeline instance
  before we start running it, and abort if any of them fail.

* If the pipeline runner aborts for any reason, send that as pipeline
  instance stderr to the API server, so other tools like Workbench can
  render it for users' benefit.

3551: Remove chmod 755, no longer necessary now that config.rb does that.

3551: Set mode of generated files more aggressively (overrule umask).

3551: Handle missing GOPATH and multiple-entry GOPATH sensibly.

3551: Merge branch 'master' into 3551-go-layout

3551: When invoking run_test_server.py during tests, pass stderr
through to caller instead of discarding.

3551: Behave correctly when Read() yields some data along with the EOF condition.

"a Reader returning a non-zero number of bytes at the end of the input
stream may return either err == EOF or err == nil."

-- http://golang.org/pkg/io/#Reader

3505: Fixed typo comparison of list against 0 instead of len(list).

3551: When invoking run_test_server.py during tests, pass stderr
through to caller instead of discarding.

3551: When testing keep clients, write keepstore/keepproxy logs to
tmp/run_test_server.log instead of discarding.

3505: Adjust order of initialization to reflect potential side effects (e.g. file
creation) on using functions such as $(glob) in the command.

Fix degenerate case exponential runtime in regular expression use by
CollectionReader to validate locators and manifests.  no issue #

Merge branch '3457-pysdk-logging-wip'

Closes #3457, #3577.

3457: Make arv-get display interface messages directly.

The logger isn't appropriate for this.

3457: Revamp Python SDK and tool logging.

The primary goal of this commit is to introduce a dedicated logging
object to the arvados module, which we configure to our
specifications, and use it consistently throughout the SDK and tools.
This lets us handle our logging configuration consistently in one
place, and avoid interfering with logging in SDK users.  I made some
minor style changes to logging calls while I was at it.

3114: When current user, show root/home project rather than user attributes when landing on show user page.
(This is meant to be a compromise due to the fact that a home project's uuid has "user" as its arvados type, rather than "group".)

3114: bug fix: 'Copy' button is now disabled until a project has been selected for copying to

Added virtual working directory "task.vwd" option to run-command.  Added
"task.cwd" to set the starting directory.  Refactored upload retry logic from
run-command into robust_put.py and modified decompress-all to use it.  no issue #

3551: Fix more package paths.

Update Gemfile to use crunch-job from latest arvados-cli gem. refs #3570

closes #3296
Merge branch '3296-user-profile'

3296: fix test issue

3296: fix tests

Merge branch 'master' into 3296-user-profile

Fix repositories.get_all_permissions to report manage, write, and read. refs #3525

Merge branch '3531-sort-jobs-with-pipelines' closes #3531

Fix "undefined method `uuid' for nil:NilClass". closes #3576