4229: Add missing Close() calls

4229: Get rid of sleep() in test

4062: update python testing to handle the multiple fixture object creation, similar to workbench test_helper update.

Better documentation WIP

Merge branch '3609-arv-ws' into 3609-arv-run

3609: import signal; add_mutually_exclusive_group doesn't take any arguments.

Merge branch '3609-arv-ws' into 3609-arv-run

Python SDK is not compatible with apiclient 1.3.

Figuring out why this is needs more investigation.  It's something I'd
like to do, but it seems urgent to push this fix so builds can pass
again.  No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/980/>.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: test update

3609: Add additional api_ fields to api client object so that subscribe() can
create a new api client.  Change test to use event variable instead of
sleeping.  Fix "Web sockets" -> "Websockets".  Make some command line options
mutually exclusive.

Merge branch '4219-verify-with-hints' closes #4219

4219: Add test for missing size hint. Dry up "known signature hint" consts.

Merge branch 'master' into 3699-arv-copy

Making arv-run documentation more readable.

3826: Roll up Open() attempts into a slice and a loop.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: trailing white space

3826: Fix up formatting cf. gofmt

3609: Reenabled support for websockets.  Now sets name of pipeline to user's command line.

3826: Just modify lastSample maps in place, instead of returning the supplied pointer.

4062: fix greedy infinite scrolling in tabs displaying more than one kind (Jobs and pipelines tab and Other objects tab).
Not only did scrolling never stopped, it never reloaded the next page and reloaded the same first page again and again.
Added test fixtures with many objects to test scrolling.
Added tests to use vertical scrollbar. The test itself is not able to test infinite scrolling by reloading the next page.
This may be because in integration testing new content is displayed only due to a click action.

Merge branch '3609-arv-ws' into 3609-arv-run

Conflicts:
sdk/cli/bin/arv

Merge branch 'master' into 3609-arv-ws

Missing file

3787: Extra note that once inside the container the user can do anything.

3826: Change FindStat to OpenStatFile to eliminate redundant Stat()
calls and races. Log every time we change our mind about where to read
a given statistic.

3787: Completed first draft explaining how to pull, configure, commit and upload a custom docker image.

3826: Use correct variable Sscanf. CPU stats work again.

3609: Prefetch pipeline components to find out which jobs to subscribe to.

4219: Use a precompiled global regexp for signature verification.

4219: Accept signatures even if other hints are present in URL.

Merge branch '4197-remove-enforce-permissions-check-from-index-handler'
Closes #4197

3609: PollClient waits on event object instead of time.sleep, fix filters.  Also fix --poll-interval and --no-poll

3609: Roll back schema change, not appropriate for this branch

Modified IndexHandler to match TrashHandler and PullHandler
* No longer checks for the enforce-permissions flag.
* Still checks for DataManager auth token.
* The HTTP error returned when we don't find the DataManager auth token is now Unauthorized instead of Forbidden.

Modified tests to check for new behavior.

Resolve race condition: wait for response before checking mock expectations. refs #3782

3609: Add test case for PollClient.  arvados.event.subscribe() starts a new
polling thread by default so as to provide the same behavior as websockets.
Add documentation strings to ws.py command line parameters.

3609: Fix schema so 'order' parameter of 'list' is an array instead of a string.

3609: Added documentation page.  Added to "arv" frontend command.  Bug fix to
print help when there are no command line arguments.

4196: arv-keepdocker uses Docker 1.0 pull syntax.

`docker pull -t` was the old way of pulling an image with a specific
tag.  Docker 1.0 introduced `docker pull repo:tag`, and Docker 1.2
removes support for `-t` completely.  We're well-standardized on 1.1+
at this point, and considering an upgrade to 1.2+, so now's the time
to switch.

Closes #4196.

4126: API server uses fixed a-r-p-i (again).

Refs #4126.

4126: a-r-p-i dereferences parameter values when creating jobs.

Refs #4126.  This is required to run jobs.

4126: API server uses fixed a-r-p-i.

Refs #4126.

Merge branch '3692-event-bus-fix-and' closes #3692

Merge branch '3656-arv-create' closes #3656

3609: Use run-command batch function instead implementing it in run.py.  Permit
arv-run output redirection to not have a space between > or < and the first
filename.

3609: Further improve list handling.  Update documentation to new preferred
syntax.  Add "batch" function to run-command.

3609: Add support for batch size, improve ability to pass lists of lists
without them getting flattened.

3826: Move cpu-counting into a function.

3826: Move cpu stats into a function, fix interval reporting.

3826: Add TODO comment on FindStat.

3826: Fix up block IO stats.

3609: Add --script-version and --repository to aid testing

3656: Delete unused documentation page

3826: Tweak memory stat log format to match cpu and net.

3656: Alphabetize list of subcommands.  Rename tmp -> tmp_file.  Small wording change on doc pages.

3826: Look for stats files while polling, to get per-container stats that appear after first poll.

3692: Bug fix for inadequate grouping when constructing selection.

Merge branch '4139-blocking-node-manager-tests-wip'

Refs #2881, #4139.  Closes #4184.

4139: Node Manager README links to compute node lifecycle page.

4139: Speed up Node Manager tests.

Previously, the tests would poll interesting mocks, waiting for them
to be called.  This introduces significant overhead to the tests, and
they would frequently time out on Jenkins.  This modifies the tests to
get more information by blocking on the tested actors, which means
more predictability and less fighting for CPU (typical runtimes for
all the tests improved from 5 seconds to 0.5 seconds on my
workstation).

The downside to this approach is that it ties the tests more tightly
to the underlying actors' implementation.  In particular, they
sometimes send a message and block for a response to ensure that any
internal messages generated by the *last* message have been handled.
This is less than ideal, but I don't have a better idea right now.

3609: Add command line help strings

3826: Add a couple of easy unit tests.

3826: Change cpu time logging format to match net traffic.

3826: Skip net/dev lines with unexpected # tokens.

3826: Remove duplicate log message, add missing crunchstat: log prefix.

3826: Tweak log format.

3609: Parallelizing on -- works, added tentative support for --group.

Search up path to see if a file is in a collection.  Refactor to work towards supporting pipelines.

New wait logic, report all exit codes.

sleep so it doesn't go haywire

Use branch

testing

Catch ECHILD from os.waitpid()

3609: Fix trimming redirect parts of the command line.
3609: Collect command line arguments, uploads files, builds arv-run submission.  Needs work on event listener.

3609: Now print log messages for submitted pipeline.

3609: Fix trimming redirect parts of the command line.

3609: Piped commands works

3826: Print cumulative net io as well as interval io.

Start working on adding local unix pipe support to run-command.

3826: Use /proc/PID/net/dev to get container net stats.

Fix filters, subscribing to components of pipelines.

3692: Explicitly incorporate sequence number test into where clause

3826: Clean up cgroup id strings. Output stats for all interfaces.

Websocket server side fix, perform database notify in after_save callback on
the log object instead of in log_change on ArvadosBase because crunch-dispatch
was creating Log objects directly and bypassing the notification in log_change.

3609: Add some options to control polling fallback, improve error logging a bit.

Websocket server side fix, perform database notify in after_save callback on
the log object instead of in log_change on ArvadosBase because crunch-dispatch
was creating Log objects directly and bypassing the notification in log_change.

3826: Add host-level network IO monitoring, and placeholder for task-level.

3826: Fix up CPU usage accounting.

3609: Logging should work for jobs but running into a bug in eventbus

3609: --job and --pipeline logging implemented, needs testing

3826: Remove old cruft. Dry up OpenAndReadAll.

3609: Refactoring arv-ws into a reusable command module.  Working on adding
ability to monitor pipeline/job log at command line.

closes #4126
Merge branch '4126-preserve-parameter-hash'

3692: Fixed test, and fixed the actual bug

3656: Add missing file

3787: Started page, ran into some problems

4139: Add README to Node Manager.

Refs #4139.

4139: Add *.egg to Node Manager's .gitignore.

`python setup.py test` will automatically download dependencies to the
source directory if you don't already have them available in your
environment.  Refs #2881, #4139.

4139: Add environment configuration knobs for Node Manager tests.

These are settings I've fiddled with regularly over the course of
development, and now it looks like we're going to need to fiddle them
some more to accommodate Jenkins.  I'm exposing them as environment
variables so I can stop messing with the code appropriately.
Refs #4139.

3656: Documentation updated to use "arv create".