9551: Replaced ARVADOS_KEEP_PROXY with ARVADOS_KEEP_SERVICES new var on tests. Added proxy URI validation test.

9551: Proxy URLs validation. Iteration optimization builind _keep_services list

9551: Change proxy parameter priority over environment variables. Updated docstring to mention ARVADOS_KEEP_SERVICES.

9551: Added support for env var ARVADOS_KEEP_SERVICES as a special case of a proxy.

Merge branch '9613-test-profile-save'

closes #9613

9613: Touch up "find required field" loop.

9613: Ensure submitted values are saved, and displayed on the edit form after it reloads.

9613: Dry up user profile tests.

Merge branch '9639-split-workbench-tests'

refs #9639

9639: Make it possible to run unit, functional and integration tests for
Workbench separately.

refs #9639

9639: Relax unnecessarily strict time limit.

refs #9639

9639: Delete all cached discovery docs, but do not delete the cache directory.

refs #9639

9639: Avoid sharing rvm gemsets between concurrent builds.

refs #9639

closes #9319
Merge branch '9319-all-processes-index'

9319: /all_processes index page.

9624: Fix format string.

closes #9624

Merge branch '9613-user-profile-string-keys'

refs #9613

9262: Stop setting sbatch --priority in crunch-dispatch-slurm.

There are a few reasons we want to back this out:

* `--priority` is a relatively new feature of SLURM, added in 14.03,
  and it's not clear how many users are running that.
* Setting `--priority` requires extra privileges, per the sbatch man
  page, and it's not clear crunch-dispatch-slurm should run with
  those.
* There are multiple ways to set the "priority" of a SLURM job.
  There's also a niceness value.  Which is correct to use is probably
  ultimately going to depend on site rules or conventions.  We need to
  get more feedback on what people are doing before we implement
  something.  We might need configurations options along the lines of
  "translate container priority into this option with this scaling
  factor," or something like that.

Per discussion with Tom Clegg.  Closes #9626.

Merge branch '9438-http-default-timeout'

9438: Added a new var DefaultSecureClient and assigned a 5 minute timeout to both InsecureHTTPClient and DefaultSecureClient.

refs #9438

9438: Eliminated redundant casting

9613: Stop prepending ":" to profile keys.

Merge branch '9614-cwl-no-websockets'

closes #9614

9614: Don't use websockets for event notification until it is more reliable.

Pin the html5lib package we build for centos6 and centos7 to version
0.9999999, because newer versions have a dependency on a
python-setuptools 0.18.5 which we don't have in the build containers
(yet).

refs #9459

Merge branch '9459-arvbox-demo-version-arg-wip'

Refs #9459.  Closes #9531.

9459: arvbox-demo accepts version arguments for Git checkouts.

9438: Added a new var DefaultSecureClient and assigned a 5 minute timeout to both InsecureHTTPClient and DefaultSecureClient

Bump version of setuptools used by run_tests.sh for cwl-runner dependency refs #9570

Merge branch '9369-arv-cwl-docs' closes #9369

9369: Copyedit CLI SDK install guide.

9369: Remove cwl install from Python SDK page.  Remove "sudo -i" from
pip/python install instructions.  Fixup use of ~$ prompt in example
instructions.

Merge branch 'master' into 9369-arv-cwl-docs

Merge branch '9570-cwl-runner-fixes' closes #9570 (again)

9369: Copyedits throughout the CWL documentation.

9369: Add note about Javascript eval timeout.

9570: Raise exception on workflow failure.

9369: bwa-mem-input-local hashbang uses cwltool.

9570: Use special path mapper for staging files to output dir.

9570: Call normalizeFilesDirs to make sure basename is there.

9570: Just add keep: to input keep locators in cwl-runner.

9570: Adjust Directory objects, too.

9570: Remove spurious print statement.

9570: Bump cwltool dependency

9570: Update cwl-runner for latest cwltool.  Ensure use_container,
tmpdir_prefix and on_error are set.

Merge branch 'fix-python-sdk-mac' of https://github.com/adambom/arvados

No issue #

Monkey patch socket constants on apple only

Remove spurious print introduced in 6884eed, refs #9570

9369: Add section about Docker.  Change cluster references to qr1hi.  Fix path to use /home/example.

9369: Update CLI install documentation to include arvados-cwl-runner (& arvados-python-client)

Patch socket configuration for Apple systems

9369: Update tutorial to CWL v1.0

Merge branch '9459-test_with_arvbox_tweaks'

refs #9459

9459: added test_in_arvbox.sh and arvbox the docker tag parameter.

refs #9459

Merge branch '9567-keep-web-session-test'

refs #9567

9567: Use longer timeouts for keep-web download tests.

9567: Print log messages from keep et al. as they appear, even in jenkins where stdout is not a tty.

Fix tests. refs #9570

Merge branch '9486-retry-instance-limit-exceeded' closes #9486

Merge branch '9570-cwl-v1.0' closes #9570

9570: Set docker_outdir consistently.

9570: Update version pin and add reminder to setup.py to do it in the future.

9570: Fix secondaryFile staging to ensure that all files are in the same
collection.

9570: Fix for Pathmapper API change.  Most tests pass or exit unsupported
feature.

9570: Support Directory and file literal features.  Support
success/temporary/permanent exit codes.

9369: Copyedits throughout the CWL docs.

9570: Pass tests except related to directory features

9570: CWL v1.0 support wip

9570: Add support to crunchrunner for redirecting stderr to support CWL 1.0.

9567: Avoid ruamel.yaml >0.11.11. refs #9567

Merge branch '9456-less-clear-trash'

closes #9456

9456: Do not clear trash lists between runs when the list of keep services has not changed.

Merge branch '9528-slurm-parsable'

closes #9528

9528: Drop sbatch --parsable flag. It fails in older versions of slurm,
and we don't need to parse the output anyway.

Revert "Bump cwltool dependency. Previously pinned version was broken."

This reverts commit d8900c1b1410b97ad24aba69d9f8fa1f042afc90.

No issue #

Bump cwltool dependency. Previously pinned version was broken.

cwltool==1.0.20160630171631 depends on
schema-salad==1.12.20160610104117, which contains an errant .py file
with syntax errors. Installing with pip emits an error message and
succeeds. Installing as an fpm->deb package emits the same error
message and fails.

Linking and byte-compiling packages for runtime python2.7...
  File "/usr/lib/python2.7/dist-packages/schema_salad/ref_resolver_BACKUP_28804.py", line 222
      <<<<<<< 973dceb3aeef33920968fa257c7b04885a3a716d
           ^
           SyntaxError: invalid syntax

No issue #

Merge branch '9542-websocket-queries'

refs #9542

9542: Avoid retrieving huge result sets from postgres.

Respect running_job_log_records_to_fetch in JobsController#logs.

Fixes flaky test
WebsocketTest#test_test_running_job_with_too_many_previous_log_records
(see https://ci.curoverse.com/job/arvados-api-server/3092/consoleText)

No issue #

8016: Rename Poll to PollPeriod. Amends c63c699aa9948f6a672536ba08e664471fb0d654.

refs #8016

Merge branch '8016-crunchrun-crunchstat'

closes #8016

closes #9498
Merge branch '9498-containers-in-project-tab'

9498: show top-level container requests in project#Pipelines_and_processes tab.

8016: Clarify comments/docs and cpuSample initialization.

8016: Rename Poll to PollPeriod.

8016: Fix race in test case.

Add libgnutls28-dev to arvados/jobs.

This is necessary to build pycurl, and with it the Python Arvados SDK,
and support arvados_sdk_version in Crunch.  I'm guessing we lost it
when we switched the base from arvados/debian:7 to debian:jessie.
No issue #.

9486: Add InstanceLimitExceeded to is_cloud_exception

9369: tweaks

9369: arvados-cwl-runner documentation and examples, add deprecation notices to pipeline documentation

Merge branch '9437-keep-index-ns'

refs #9437

See https://dev.arvados.org/issues/9437#note-3 and #note-4

9437: Clarify units for -blob-signature-ttl. Update keepstore -h message in install docs.

9437: Accept 1-second timestamps from old keepstore servers.

Running a new keep-balance/datamanager with old keepstore servers will
interpret timestamps correctly.

Running an old keep-balance/datamanager with new keepstore servers
will not perform any garbage collection: interpreting the new
nanosecond timestamps as 1-second timestamps will result in all blocks
appearing to come from the future, making them ineligible for
trash/delete.

9437: gofmt

9437: Report timestamps as nanoseconds since epoch in keepstore index.

Merge branch '4753-websocket-test-port'

refs #4753

4753: Select an available port for the passenger server when testing websockets.

This makes it possible to run API tests concurrently (in different
working dirs on the same host) without fighting over port 3002.

8016: Report container resource usage in "crunchstat" log.

8016: Fix some error checking in ThrottledLogger.

8016: Fix comment grammar and weird variable name.

8016: Fix timestamp format (add missing nanoseconds), and use it in tests.