3826: Merge branch 'master' into 3826-crunchstat-netstats

3826: Fix confusing reuse of variable name.

3826: Use strconv instead of scanner + sscanf.

3826: Use global logChan. Use ioutil.ReadFile.

3826: Clean up slice initialization.

4058: Tests for portable data hash redirection and multiple matches page.

closes #4062
Merge branch '4062-infinite-scroll-repeat-TC'

4062: Do not clobber next_page_url filters with local filters.

4058: If a portable data hash correpsonds to a single collection, automatically
redirect to the collection page.  If not, show a special "menu" page listing
the matching collections.

4062: Merge branch 'master' into 4062-infinite-scroll-repeat-TC

4026: admin user can move a project under another user's home project.

4054: minor test update

Merge branch 'master' into 4054-sharing-email

4054: show email address in sharing tab and update test to verify.

Merge branch '3698-invalid-output-of' closes #3698

Make sure to use httpclient 2.5.0 or higher for Workbench. Older
versions force the use of SSLv3, which is no longer advisable now that
Poodle is a thing.

No issue #

3698: Fix: components keys are symbols, not strings.  Tweaked error message to
tell you what the invalid output_of actually is.

3698: Add check that output_of refers to an actual component.

3699: allow script_version to be a branch

Fix copy_git_repo to behave properly when the source script_version
refers to a branch on the source repository:

* clone the source repo with git clone --bare (ensuring that local
  branch refs are created for all remote branch refs)
* name the destination branch for "repository_script_version" to prevent
  merge conflicts, if we copy different branches on the source
  repository to the same destination repository

4083: Searched for everything using strptime and added import _strptime where it was missing. closes #4083

Merge branch '4229-close-files' closes #4229

3699: bugfix: some leftover recursive/force options

recursive -> args.recursive
force -> args.force
dst_git_repo -> args.dst_git_repo

3699: report on collection copying progress

added by_id subdirectory notes and arvados#collection

No issue #.

4239: Update Python SDK for google-api-python-client 1.3.

This package renames the module from apiclient to googleapiclient.  It
provides a shim apiclient module for compatibility, but it only
exports the appropriate names, not real submodules.  Using it requires
changing imports like

    import apiclient.errors

to

    from apiclient import errors

This approach works (has been tested) with both versions 1.2 and 1.3.
Closes #4239.

4189: Diagnostics suite doesn't try to clear Rails cache.

Refs #4189.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

4062: Do not include offset in the next_page_href when objects of multiple kinds are being fetched; instead, we will rely on created_at filter alone.
Updated the tests and fixtures to expect all 200+ objects in the pipelines and jobs tab.
The test however is still not working as the created_at filter based fetch is not working.

Merge branch '4189-workbench-project-admin-attr-editing-wip'

Closes #4189, #4202.

4189: Workbench lets users with write permission rename objects in projects.

The key part of this commit are the changes to ApplicationHelper.
There's also some refactoring to more consistently answer questions
about whether or not an attribute is editable.

There are also some tests in here that I wrote while I was tracking
down the problem.  They seem like a useful addition.

4189: Workbench tests clear more state during teardown.

I'm working on some new tests that pick up on stale state without
these changes.

4189: Document the API server's writable_by field.

4189: Add writable_by to User API response, so writable_by is available for every owner_uuid.

4189: Admit in writable_by that an object is writable when its owner_uuid is writable.

4189: Look up owner's writable_by when API did not provide writable_by for the object in question.

4062: test updates

3826: Reverse fields in "stat not found" warning.

Merge branch '3609-arv-ws' refs #3609

3609: Fix PollClient for case when there are no filters (get everything).

3609: Testing fixups.

3609: Back out setting api_version, api_host, and api_insecure on api client
and instead document that caller to arvados.events.subscribe() should pass in a
freshly created api client.  Add event variable to indicate when subscription
is a success instead of sleeping.  Removed unused "import time".  Fixed "web
sockets" -> "websockets".

4229: Add missing Close() calls

4229: Get rid of sleep() in test

4062: update python testing to handle the multiple fixture object creation, similar to workbench test_helper update.

3609: import signal; add_mutually_exclusive_group doesn't take any arguments.

Python SDK is not compatible with apiclient 1.3.

Figuring out why this is needs more investigation.  It's something I'd
like to do, but it seems urgent to push this fix so builds can pass
again.  No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/980/>.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: test update

3609: Add additional api_ fields to api client object so that subscribe() can
create a new api client.  Change test to use event variable instead of
sleeping.  Fix "Web sockets" -> "Websockets".  Make some command line options
mutually exclusive.

Merge branch '4219-verify-with-hints' closes #4219

4219: Add test for missing size hint. Dry up "known signature hint" consts.

Merge branch 'master' into 3699-arv-copy

3826: Roll up Open() attempts into a slice and a loop.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: trailing white space

3826: Fix up formatting cf. gofmt

3826: Just modify lastSample maps in place, instead of returning the supplied pointer.

4062: fix greedy infinite scrolling in tabs displaying more than one kind (Jobs and pipelines tab and Other objects tab).
Not only did scrolling never stopped, it never reloaded the next page and reloaded the same first page again and again.
Added test fixtures with many objects to test scrolling.
Added tests to use vertical scrollbar. The test itself is not able to test infinite scrolling by reloading the next page.
This may be because in integration testing new content is displayed only due to a click action.

Merge branch 'master' into 3609-arv-ws

Missing file

3787: Extra note that once inside the container the user can do anything.

3826: Change FindStat to OpenStatFile to eliminate redundant Stat()
calls and races. Log every time we change our mind about where to read
a given statistic.

3787: Completed first draft explaining how to pull, configure, commit and upload a custom docker image.

3826: Use correct variable Sscanf. CPU stats work again.

3609: Prefetch pipeline components to find out which jobs to subscribe to.

4219: Use a precompiled global regexp for signature verification.

4219: Accept signatures even if other hints are present in URL.

Merge branch '4197-remove-enforce-permissions-check-from-index-handler'
Closes #4197

3609: PollClient waits on event object instead of time.sleep, fix filters.  Also fix --poll-interval and --no-poll

3609: Roll back schema change, not appropriate for this branch

Modified IndexHandler to match TrashHandler and PullHandler
* No longer checks for the enforce-permissions flag.
* Still checks for DataManager auth token.
* The HTTP error returned when we don't find the DataManager auth token is now Unauthorized instead of Forbidden.

Modified tests to check for new behavior.

Resolve race condition: wait for response before checking mock expectations. refs #3782

3609: Add test case for PollClient.  arvados.event.subscribe() starts a new
polling thread by default so as to provide the same behavior as websockets.
Add documentation strings to ws.py command line parameters.

3609: Fix schema so 'order' parameter of 'list' is an array instead of a string.

4196: arv-keepdocker uses Docker 1.0 pull syntax.

`docker pull -t` was the old way of pulling an image with a specific
tag.  Docker 1.0 introduced `docker pull repo:tag`, and Docker 1.2
removes support for `-t` completely.  We're well-standardized on 1.1+
at this point, and considering an upgrade to 1.2+, so now's the time
to switch.

Closes #4196.

4126: API server uses fixed a-r-p-i (again).

Refs #4126.

4126: a-r-p-i dereferences parameter values when creating jobs.

Refs #4126.  This is required to run jobs.

4126: API server uses fixed a-r-p-i.

Refs #4126.

Merge branch '3692-event-bus-fix-and' closes #3692

Merge branch '3656-arv-create' closes #3656

3826: Move cpu-counting into a function.

3826: Move cpu stats into a function, fix interval reporting.

3826: Add TODO comment on FindStat.

3826: Fix up block IO stats.

3656: Delete unused documentation page

3826: Tweak memory stat log format to match cpu and net.

3656: Alphabetize list of subcommands.  Rename tmp -> tmp_file.  Small wording change on doc pages.

3826: Look for stats files while polling, to get per-container stats that appear after first poll.

3692: Bug fix for inadequate grouping when constructing selection.

Merge branch '4139-blocking-node-manager-tests-wip'

Refs #2881, #4139.  Closes #4184.

4139: Node Manager README links to compute node lifecycle page.

4139: Speed up Node Manager tests.

Previously, the tests would poll interesting mocks, waiting for them
to be called.  This introduces significant overhead to the tests, and
they would frequently time out on Jenkins.  This modifies the tests to
get more information by blocking on the tested actors, which means
more predictability and less fighting for CPU (typical runtimes for
all the tests improved from 5 seconds to 0.5 seconds on my
workstation).

The downside to this approach is that it ties the tests more tightly
to the underlying actors' implementation.  In particular, they
sometimes send a message and block for a response to ensure that any
internal messages generated by the *last* message have been handled.
This is less than ideal, but I don't have a better idea right now.

3826: Add a couple of easy unit tests.

3826: Change cpu time logging format to match net traffic.

3826: Skip net/dev lines with unexpected # tokens.

3826: Remove duplicate log message, add missing crunchstat: log prefix.

3826: Tweak log format.

3826: Print cumulative net io as well as interval io.

3826: Use /proc/PID/net/dev to get container net stats.

Fix filters, subscribing to components of pipelines.