Merge branch '6429-crunch2-api' closes #6429

Merge branch '7939-arv-mount-errors' closes #7939

7939: Use 100:: for bogus host check and add comment about API check.

6429: Add for test child container requests are set priority=0 when parent
container is in final state.

7939: Additional check for bad token.

7939: Check exit code in tests.

7939: Move daemonize to _run_standalone() after llfuse.init(), preserving open
file descriptors.  Add tests for various error conditions that can prevent
successful mount.

6429: Callback calls container_completed! instead of just setting state to final.

6429: Rename request_finalize to handle_completed

6429: Improve variable names in tests a bit.  Default priority of container
request to nil and check for nil priority.  Complete/cancelled container
finalizes requests that created it and sets priority 0 on requests that it
created itself.

Merge branch '7393-s3-volume' closes #7393

7393: Add -uuid and -url options, fix memory sharing in -vary-request.

7393: Quiet excessive debug printfs.

7393: Add S3 volume type.

7960: Fix typo in arv-run option reference.

Closes #7960.

6429: Don't update priority if the container is already in Complete or Cancelled state.

6429: Complete/Cancelled containers finalize associated container requests;
container requests update priority for associated containers.

6429: Use text instead of string for longer API fields.
Move "resolve" from Container to ContainerRequest.
Simplify state transition checking.
Improve formatting of error messages.
Rename workbench models to be singular.
Remove bogus factory files.

6429: Tests for priority update propagation to process tree, max priority from
multiple requests, finalize request when container completes or cancels.

7937: Update test case.

refs #7937

Merge branch '7937-ignored-error' refs #7937

7937: Fix ignored error from GetKeepServersAndSummarize.

6429: Committing container request creates container

7829: Add MANIFEST.in for arvados-docker-cleaner.

Refs #7829.

7829: Restore MANIFEST.in files; add licenses to them.

This reverts cd78cc7c9d06ec84f1e272c4b5a15d377830edba.  The package
building process works without these files on Debian 8, but not Debian
7, which is what Jenkins is still running.

Refs #7829.

6429: Put whitelist_update in module.

Merge branch '7829-package-licenses-wip'

Refs #7829.  Closes #7914.

7829: Gems include licenses and documentation.

7829: Python bdists include licenses and documentation.

7829: Remove unnecessary MANIFEST.in files.

setuptools includes every file tracked by your VCS.  See
<http://pythonhosted.org/setuptools/setuptools.html#generating-source-distributions>.

Fix manifest stats leaking between runs via globals. No issue #

Merge branch '7835-node-manager-price-type-wip'

Refs #7835.  Closes #7950.

7835: Node Manager converts node.size into a size object on GCE.

Remove redundant exception from Node Manager NETWORK_ERRORS.

7835: Node Manager coerces node size prices to float.

closes #7753
Merge branch '7753-job-log-accessibility'

7753: show the job Log link in the component panel header only when it is a pipeline_instance display; hide it for job#show

7753: when a job is in "Running" state, the Log link still should be shown in the Component display panel header.

7753: Now that there are 1+ "Log" links in the pipeline instance page, update tests to address capybara ambigous match error.

7753: The name "Job log" has a little problem; on screen small screen sizes, "Job log" is displayed in two lines even when the rest of the items are displayed in single line due to the limited real estate in the panel header.

7753: Add a Log link to pipeline_instance component panel

7942: changed capybara timeout from 5 sec to 10 sec so iceweasel in ci.curoverse.com doesnt break as easily

Merge branch '7942-ci-iceweasel-problems'

refs #7942

Finish basic state change & record protection unit tests.

Working on state change assertions and testing for container record.

added more time to ajax timeout

refs #7942

Merge branch '7888-log-req-phase-times' refs #7888

Declare serialize / accept json fields, start working on states

7888: Log how much time was spent before/after sending response headers.

Merge branch '7751-crunch-fuse-output' closes #7751

7751: Add convenience class for staging task output in $TASK_KEEPMOUNT_TMP.

7751: Set up an arv-mount scratch directory for each task, and put its path in TASK_KEEPMOUNT_TMP.

Stub out controllers and routes.  Add basic workbench support.

closes #6027
Merge branch '6027-git-repo-doc'

6027: fix typo

Merge branch 'master' into 6027-git-repo-doc

Merge branch '7868-docker-run-args' closes #7868

7868: Allow admin to add arguments to "docker run" commands.

6027: update git-arvados-guide to instruct the users to create scripts in crunch_scripts subdirectory.

7313: Fix sprintf formatter in crunch-job warning message.

Refs #7313.

closes #7748
Merge branch '7748-datamanager-dry-run'

7748: correct the local variable declaration

Merge branch 'master' into 7748-datamanager-dry-run

Conflicts:
services/datamanager/datamanager_test.go

6429: Initial commit of models creating by rails generate.

closes #7710
Merge branch '7710-keepclient-all-service-types'

7710: text updates around the -service-type argument.

7710: update crunchrunner.upload.go to compile; this was broken after the keep-web updates; also, add this package to gostuff in run-tests.sh

7710: update serviceType argument handling to ignore any keepservices that are of a different type. Add a datamanager test with one extra unsupported-typed keepserver, which should hence be ignored by datamanager.

7710: Remove KeepClient.Using_proxy and all it's references since we are no longer using it.
Update datamanager to use a configured supported service type instead of hardcoding "disk" type.

7710: Add keep_services#accessible test.

7710: improve keepclient to use non-disk timeouts when any non-disk typed keepservices are found; previously, this was done for proxy typed keepservices only.

7748: use local variables for arvLogger.Update

Merge branch 'master' into 7748-datamanager-dry-run

Merge branch '7697-socket-retry' closes #7697

7697: Avoid reusing long-idle HTTP connections. Avoid retrying non-idempotent operations.

Merge branch '7870-crunch-dispatch-retry-fail-lock-wip'

Closes #7870, #7877.

7870: Teach crunch-dispatch to fail jobs it already locked.

The fail_job method has been written with the assumption that the job
should be unlocked.  The retry support added in #4410 breaks this
assumption.  Teach fail_job to acquire the lock only when we don't
know we already have it.

Merge branch '6309-file-cache-runtime-constraint' closes #6309

7748: when dryRun continue and leave the regular flow untouched.

Merge branch 'master' into 6309-file-cache-runtime-constraint

6309: Use arv-mount default cache size.  Fix documentation typo.

7748: address dryRun in summary.WritePullLists and keep.SendTrashLists

Merge branch 'master' into 7748-datamanager-dry-run

closes #7252
Merge branch '7252-go-sdk-errors'

Merge branch 'master' into 7748-datamanager-dry-run

Merge branch 'master' into 7252-go-sdk-errors

Mock dispatch instead of relying on rollback in child proc.

No issue #. amends d88316705b23d1022ee2167c7ed0e5cf5e460cbe

Clear job queue before testing crunch-dispatch start/stop.

Otherwise, it might get as far as starting jobs before we send TERM.

No issue # but see build 2249.

Merge branch '7851-available-port' refs #7851

Fix crash on removing nonexistent directory.

No issue #

7851: Use a random display (:100-:499 = port 6100-6499) for Xvfb, instead of always :99.

7748: add dry-run command line argument.

7851: Choose available ports for selenium and poltergeist.

Also, display the chosen port numbers at startup.

Without this the Selenium driver defaults to 7055, which causes
interference between concurrent test runs.

Warn, but do not error out, if a collection has conflicting block sizes.

If this is treated as a fatal error, any user can stop all garbage
collection entirely by hand-editing a collection (accidentally or
maliciously) to include the same block with different size hints.

No issue #

refs #7253
Merge branch '7253-datamanager-test-errors'

7253: update the manifest_text for the test fixture multilevel_collection_2 to be valid.

Update capybara in workbench bundle.

No issue #

Merge branch 'master' into 7252-go-sdk-errors

Conflicts:
sdk/go/manifest/manifest_test.go

closes #7253
Merge branch '7253-datamanager-test-errors'

7253: update manigest.parseManifestStream to raise error when the given manifest does not have any block locators or file tokens.

7253: update BlockIterWithDuplicates to return any errors through Manifest, rather than BlockLocator.