Merge branch 'master' into 7607-getting-started-flag

Merge branch '8095-install-guide-rails-sudo-wip'

Closes #8095, #8096.

8095: Make install guide bundle commands more consistent.

* Always instruct the user to use `sudo -u`.  This prevents the
  commands from generating cache files that the web server can't write
  later.
* Always execute the command in the server's main directory.  This
  helps people run on automatic: if they leave a shell session open at
  the API server directory, they can paste in a combination of Rails
  console and script commands without `cd`ing around.
* Always give both RVM and non-RVM instructions.  There might be a
  good way to streamline this, e.g., by telling them to use rvmsudo
  when available, but that can be a later optimization.

Add pycurl version constraint to Python SDK because of breaking API change, refs #8104

7607: updated user_profile_test to set getting_started config in test.

7607: Update application layout tests; by default getting_started is disabled and hence the help menu will not include this option.
Also, added an additional test case for user with profile but no getting_started flag and expect the popup upon first login.

7942: Skip unreliable test. refs #7942

Merge branch '7957-new-software-collections-install-wip'

Closes #7957, #8097.

7957: Update Software Collections instructions in install guide.

* Document the process we currently follow on CentOS 6.
* Add a reference for RHEL instructions.
* Move noteboxes up, so people can follow the instructions
  linearly ("enable Software Collections, then install the packages").

Merge branch '7816-exit-code' refs #7816

8080: Pull c.reload etc out of the assert_raises.  Remove spurious blank lines.

Merge branch '8082-col-markup' refs #8082

8082: Fix column markup (always use up "log" grid column, always use up all 12 grid columns).

8014: Add #configure anchors to API server and Workbench install guides.

Package postinst scripts will use these to point people to the right
places in the documentation to read what steps they need to take
manually.  The SSO server docs+package already follow this
convention.  Refs #8014.

8082: Ensure consistent column widths in Workbench job banner.

4dcf4e849f242a929ce03b5d529e0e1a63fbaeb0 is the commit that introduced
the column inconsistencies.  This is the smallest patch I could find
to address the issue.  It may be less than ideal because it always
allocates a column to something that may not be displayed, but the
logic to keep track of column widths is already hairy and there are so
many conditions here that it stood to get a lot worse.  Closes #8082.

8077: Tutorial suggests using the arvados/jobs Docker image.

This is all the hash script needs, and clusters are more likely to
have it than arvados/jobs-java-bwa-samtools, which is more of an
internal thing.  Closes #8077.

7816: Add exit_code field to Container model.  Can only be set when container
is marked "Complete".

Increase timeout for bringing up test server.

No issue #

Merge branch '7965-fail-abandoned-jobs' closes #7965

7965: Fail orphaned jobs still marked "running" after reboot.

Fix documentation typo git_repo_https_base not git_repo_http_base, no issue #

Merge branch '7884-ajax-log-redirect' closes #7884

7884: Clarify "credentials" comment.

7884: Detect when a "download log" response has a JSON-encoded redirect
to keep-web, and convert it to POST to avoid a second redirect that
would be forbidden by SOP.

7884: Serve simple cross-origin AJAX POST requests without redirecting.

Merge branch '7927-docker-cleaner-api-version-wip'

Closes #7927, #8025.

7927: Docker cleaner service uses Docker API v1.14.

This helps it work consistently across a variety of Docker versions.
See the comment in the tests for more background.

Log request body size. No issue #

Merge branch '7901-human-summary' closes #7901

7901: Add job stats, elapsed time, summed user+sys and tx+rx, and some human-readable highlights.

7942: Skip unreliable test. refs #7942

Merge branch '7888-azure-read-mux' refs #7888

7888: Fix whitespace / gofmt

7888: Option to use multiple concurrent range requests when fetching from Azure.

Merge branch '7454-azure-custom-data' closes #7454

7454: switch order of arvados_create_kwargs() to be consistent with
create_node().  Use pipes.quote() to shellquote values.  Add ex_customdata
test.

Merge branch '6429-fix-container-indexes' refs #6429

Add required indexes to containers and container_requests tables. refs #6429

Increase default Python SDK timeout to 256s.

No issue #

7901: Fix variable name typo in crunchstat-summary.

Refs #7901.

Merge branch '7901-crunchstat-summary' refs #7901

7901: Add crunchstat-summary program.

Cleanup of test cleanup.  refs #6429

Small test cleanup.  refs #6429

Merge branch '6429-crunch2-api' closes #6429

Merge branch '7939-arv-mount-errors' closes #7939

7939: Use 100:: for bogus host check and add comment about API check.

6429: Add for test child container requests are set priority=0 when parent
container is in final state.

7939: Additional check for bad token.

7939: Check exit code in tests.

7939: Move daemonize to _run_standalone() after llfuse.init(), preserving open
file descriptors.  Add tests for various error conditions that can prevent
successful mount.

7607: enablee flag should be set to false by default

7607: added logic to remove getting started dialogue by default. Still needs tests.

7454: Fix tests

7454: Add 'size' to arvados_create_kwargs so that it can be included in CustomData.

7454: use small CustomData script to set /var/tmp/arv-node-data/arv-ping-url

Merge branch 'master' into 7454-azure-custom-data

6429: Callback calls container_completed! instead of just setting state to final.

6429: Rename request_finalize to handle_completed

6429: Improve variable names in tests a bit.  Default priority of container
request to nil and check for nil priority.  Complete/cancelled container
finalizes requests that created it and sets priority 0 on requests that it
created itself.

Merge branch '7393-s3-volume' closes #7393

7393: Add -uuid and -url options, fix memory sharing in -vary-request.

7393: Quiet excessive debug printfs.

7393: Add S3 volume type.

7960: Fix typo in arv-run option reference.

Closes #7960.

6429: Don't update priority if the container is already in Complete or Cancelled state.

6429: Complete/Cancelled containers finalize associated container requests;
container requests update priority for associated containers.

6429: Use text instead of string for longer API fields.
Move "resolve" from Container to ContainerRequest.
Simplify state transition checking.
Improve formatting of error messages.
Rename workbench models to be singular.
Remove bogus factory files.

6429: Tests for priority update propagation to process tree, max priority from
multiple requests, finalize request when container completes or cancels.

7937: Update test case.

refs #7937

Merge branch '7937-ignored-error' refs #7937

7937: Fix ignored error from GetKeepServersAndSummarize.

6429: Committing container request creates container

7829: Add MANIFEST.in for arvados-docker-cleaner.

Refs #7829.

7829: Restore MANIFEST.in files; add licenses to them.

This reverts cd78cc7c9d06ec84f1e272c4b5a15d377830edba.  The package
building process works without these files on Debian 8, but not Debian
7, which is what Jenkins is still running.

Refs #7829.

6429: Put whitelist_update in module.

Merge branch '7829-package-licenses-wip'

Refs #7829.  Closes #7914.

7829: Gems include licenses and documentation.

7829: Python bdists include licenses and documentation.

7829: Remove unnecessary MANIFEST.in files.

setuptools includes every file tracked by your VCS.  See
<http://pythonhosted.org/setuptools/setuptools.html#generating-source-distributions>.

Fix manifest stats leaking between runs via globals. No issue #

Merge branch '7835-node-manager-price-type-wip'

Refs #7835.  Closes #7950.

7835: Node Manager converts node.size into a size object on GCE.

Remove redundant exception from Node Manager NETWORK_ERRORS.

7835: Node Manager coerces node size prices to float.

closes #7753
Merge branch '7753-job-log-accessibility'

7753: show the job Log link in the component panel header only when it is a pipeline_instance display; hide it for job#show

7753: when a job is in "Running" state, the Log link still should be shown in the Component display panel header.

7753: Now that there are 1+ "Log" links in the pipeline instance page, update tests to address capybara ambigous match error.

7753: The name "Job log" has a little problem; on screen small screen sizes, "Job log" is displayed in two lines even when the rest of the items are displayed in single line due to the limited real estate in the panel header.

7753: Add a Log link to pipeline_instance component panel

7942: changed capybara timeout from 5 sec to 10 sec so iceweasel in ci.curoverse.com doesnt break as easily

Merge branch '7942-ci-iceweasel-problems'

refs #7942

Finish basic state change & record protection unit tests.

Working on state change assertions and testing for container record.

added more time to ajax timeout

refs #7942

Merge branch '7888-log-req-phase-times' refs #7888

Declare serialize / accept json fields, start working on states

7888: Log how much time was spent before/after sending response headers.

Merge branch '7751-crunch-fuse-output' closes #7751

7751: Add convenience class for staging task output in $TASK_KEEPMOUNT_TMP.