3021: 4399: Convert some tests from selenium to phantomjs. Restart Headless less.

Remove cruft. No issue #

Merge branch '4887-invalidate-duplicate-ip-on-old-compute-nodes'

closes #4887

Merge branch 'master' into 4887-invalidate-duplicate-ip-on-old-compute-nodes

Address review comments:

* change stale_conflicting_nodes to a local variable
* minor performance optimization: add an additional check for ip_address being nil

refs #4887

Merge branch '4877-dont-delete-stdout'

Fixes #4877

4877: don't delete /dev/stdout

Fixed the filename check before trying to delete /dev/stdout.

4598: added failure types and short names

Added the sys/docker failure type. Failures now reported by short
failure name rather than by regex.

4598: remove more dev/debugging features.

4598: take out some debug reporting and --match option

Remove debugging features.

4598: fetch logs from Keep, more failure reporting

Per standup review: fetch logs with a CollectionReader on the log
collection uuid, rather than fetching log records from the API server.

Perform full failure reporting including job URL details.

Detect stale compute node records with the same IP address as the new
node on its first ping. Clear the ip_address field on the stale nodes.

Refs #4887

Cleanups:

* Remove old commented out code
* Remove superfluous test for presence of file on disk

refs #4887

4598: bug fixes, added full stats collection

Added code to report full stats on failed, successful, and incomplete
jobs.  Perform basic reporting on failed job causes (not yet working).

4869: Enable TCP keepalive and adjust connection timeouts to Keep client.

Fix whitespace, cf. gofmt. refs #4875

Merge branch '4875-keepclient-test-race' closes #4875

4875: Merge branch 'master' into 4875-keepclient-test-race

Conflicts:
sdk/go/keepclient/keepclient_test.go

Fix version strings to comply with PEP-440. No issue #

Merge branch '4523-owner_uuid-index' refs #4523

Merge branch '4869-keepproxy' refs #4869

4869: Strip all newlines from error responses, not just leading and trailing
whitespace.

4523: Dry up migration and test cases.

4869: Based on Go documentation, don't set a body ReadCloser on the request
when body length is 0.

4523: Fix column order to match migration order.

4523: Remove dev-only checks in migration.

4523: Fix down-migration.

4869: Correctly handle zero-length blocks in Keep client/Keep proxy.  Remove
X-Block-Size.  Choose default request timeout based on if client is talking to
a proxy or not.  Use double quotes in logging.  Rename "tag" to "requestId".

4523: Fix whitespace.

4523: Add "store long string" test.

4869: Keepstore now returns Content-Length headers, and logs the error message
sent to the client on errors.

4869: KeepClient now has a default timeout per block request (10 minutes).  In
keepproxy, the timeout is set to 20 seconds per block.  Also rearranged some
keepclient and keepproxy logging to provide better information.

Merge branch '4754-performance-TC' closes #4754

Merge branch '4844-stricter-min-nodes-wip'

refs #4844

Merge branch 'master' into 4844-stricter-min-nodes-wip

Skip two more CLI tests that need a running API server.

refs #4156

4869: Improve logging

4875: Let the OS choose port numbers for fake servers.

Fixes a race condition where test case N+1 can't listen on port 2990
because test case N hasn't shut down its listener.

Also removes the artificial acceptance requirement that nobody else on
the testing host is using the arbitrarily assigned port range
2990..299x.

Incidental changes:

* rename RunBogusKeepServer to RunFakeKeepServer (to match
  RunSomeFakeKeepServers and fix the misleading implication that the
  resulting server does something bogus).

* return a KeepServer object from RunFakeKeepServer (for better parity
  with RunSomeFakeKeepServers).

4875: Use range in for loops.

Merge branch '4858-graph-not-comparing' refs #4358

Merge branch 'master' into 4358-graph-not-comparing

4844: Node Manager doesn't treat min_nodes as min_nodes_idle.

There's a bad interaction between the past bugfixes to (a) implement
min_nodes, and (b) boot new nodes when existing nodes are busy.
Because min_nodes has been implemented at the server wishlist level in
the past, the daemon can't distinguish between "nodes requested to
fulfill min_nodes" and "nodes requested to fulfill jobs."

This commit puts all the responsibility for enforcing min_nodes in the
daemon, so that the server wishlist always represents real job
requirements.  This lets the daemon correctly decide whether or not to
boot a new node when >= min_nodes are busy.

Merge branch '4670-node-manager-robust-tags-wip'

Closes #4670, #4812.

4670: Add a post-create hook to Node Manager for EC2 tagging.

The previous code was relying on the post-create tagging in libcloud's
EC2 driver.  Unfortunately, that's not working out too well for us: if
it fails, you get no indication of that, and it doesn't get retried.
This moves the work up into Node Manager, where failures can be logged
and retried appropriately.

The retry support may be sufficient to resolve #4670.  If it's not,
then the additional logging will help us track down the root cause.

4670: Node Manager handles more libcloud exceptions.

libcloud compute drivers (at least EC2 and GCE) raise bare Exceptions
when there's some problem talking to the cloud service.  The previous
code was expecting to see a LibcloudError, so it wouldn't handle these
errors as intended.

I didn't want to just catch errors with "except Exception" everywhere,
so I added an is_cloud_exception class method to our driver classes to
more accurately identify exceptions that represent trouble talking to
the cloud service.  It recognizes exact Exceptions, plus the other
classes we were catching before.

While I was at this, I gave more specific names to the wrapper methods
in compute node actor decorators, as a debugging aid.

4800: run-command calls sys.exit() with an integer.

Closes #4800.

4818: Add missing timeout in Node Manager test.

Refs #4818.

Merge branch '4515-search-empty-project' closes #4515

Remove excess heading and divider. No issue #

Restore scroll on projects menu. Do not offer "Add project" button in projects dropdown in chooser dialog. closes #4811

Ignore .eggs/ (*.egg isn't enough: .eggs/README.txt gets installed too, as a human-readable .gitignore.)

No issue #

4515: Add controller tests for search dialog.

4818: Node Manager unpairs Arvados node when cloud node shuts down.

Without this, Node Manager doesn't correctly pair the Arvados node
with a new cloud node that's booted later.  Closes #4818.

4754: Move perf/prof deps to :test/:performance groups.
Move "do not reset unless Rails.env==test" logic into one place.

Merge branch '4481-update-user-docs-TC'

Closes #4741, #4790.

4481: Fix ambiguous "Keep id" -> "locator" in example scripts.

4481: Refresh Crunch script tutorial page.

* The script now normalizes the output path, for consistency with
  other scripts, and it looks nicer.
* Modernize the job log output slightly, and adjust text to match.

4481: Update tutorial Crunch scripts to use newer PySDK methods.

Most focus is on the file Collection file methods added in #3603.

Merge branch '4792-arv-ls-normalize-wip'

Closes #4792, #4813.

4523: cleaner update of render_editable_attribute method to use textarea for descriptions.

4358: fixed: the provenance graph was being generated twice, the second time for only one pipeline

4523: updated render_editable_attribute to use textarea for descriptions.

4523: Change description column from text to string on jobs, groups, pipeline_instances and pipeline_templates. Also, update search indexes to include the description column for those tables.

4792: arv-ls normalizes the collection before listing.

I sort of ended up rewriting arv-ls to make it testable, but hey,
that's part of the support task.  Normalization is the only functional
change I made.

Merge branch 'master' into 4523-search-index

closes #4414
Merge branch '4414-add-new-in-project-dropdown'

4414: use ensure_unique_name option to instruct api server to create unique name for new project.

4414: add "Add a new project" link to project dropdown.

4598: correct search criteria for Crunch job output

Crunch stderr output is stored in the properties/text field of logs with
event_type 'stderr'.

Limited the filter criteria to event_type = 'stderr' and modified
text pattern filtering appropriately.

Now uses arvados.util.list_all to retrieve all stderr rows within the
specified time frame.

closes #4476
closes #4804
Merge branch '4476-search-next-page-issue'

closes #4799
Merge branch '4799-move-selected-error'

refs #4754
Merge branch '4754-performance-benchmarks'

Merge branch 'master' into 4754-performance-benchmarks

Merge branch 'master' into 4523-search-index

4523: update db migration script for owner_uuid index to drop index only when it exists.

4523: update down method in search migration script to drop index only when it exists.

4804: search dialog retains project_uuid param in next_page_href.

4598: add crunch-failure-report.py

4476: include filters in search next_page_href url.

4799: do not offer "move selected" option when current user cannot write to the project.

4027: Document arvados_sdk_version's virtualenv requirement.

Refs #4027.

Merge branch 'master' into 4523-search-index

4754: add command to be used to run diagnostics testing as a comment.

4754: update assertion to look for a data-object-uuid

4754: support RAILS_ENV=performance

Merge branch 'master' into 4754-performance-benchmarks

Merge branch '4499-one-task-per-input-file-normalize'

Fixes #4499.

Download bwa and samtools from a self-hosted mirror, sf.net downloads
are way too unreliable.

No issue #

Merge branch '4293-node-manager-timed-bootstrap-wip'

Closes #4293, #4732.  Refs #4380.

4293: Node Manager shuts down nodes that fail to boot.

This helps Node Manager detect and correct when a node fails to
bootstrap.

4380: Node Manager SLURM dispatcher proceeds from more states.

Per discussion with Ward.  Our main concern is that Node Manager
shouldn't shut down nodes that are doing work.  We feel comfortable
broadening the definition of "not doing work" to this set of states.

Merge branch '3781-browser-upload' closes #3781

3781: Fix test that assumes only one empty collection is readable.
Wait longer for browser timeout in upload-fail test.

3781: Merge branch 'master' into 3781-browser-upload

4754: move search test into browsing_test.rb instead of having its own file.

4754: search_test assertions

3781: Add singletest function.

3781: Add test cases: empty files, renaming, and error reporting.

4754: add rails-perftest and ruby-prof gems to enable performance benchmarking and add search_test.rb

4499: Normalize manifest in one_task_per_input_file

* arvados.job_setup.one_task_per_input_file now calls cr.normalize()
  before creating tasks.

* Added unit test in test_sdk.py to confirm that the expected number of
  tasks are created when called on a normalized manifest.