4818: Add missing timeout in Node Manager test.

Refs #4818.

Merge branch '4515-search-empty-project' closes #4515

3198: Working on optimizing rewrites

3198: Random access updates works.

3198: Refactor stream and file classes and functions a little bit for readability.

Remove excess heading and divider. No issue #

Restore scroll on projects menu. Do not offer "Add project" button in projects dropdown in chooser dialog. closes #4811

3198: Can use write to append only.

3198: Support for truncating files.  A few tests.  Next step work on random access writing.

Ignore .eggs/ (*.egg isn't enough: .eggs/README.txt gets installed too, as a human-readable .gitignore.)

No issue #

4515: Add controller tests for search dialog.

3198: Initial support appending to streams.

4818: Node Manager unpairs Arvados node when cloud node shuts down.

Without this, Node Manager doesn't correctly pair the Arvados node
with a new cloud node that's booted later.  Closes #4818.

4754: Move perf/prof deps to :test/:performance groups.
Move "do not reset unless Rails.env==test" logic into one place.

Merge branch '4481-update-user-docs-TC'

Closes #4741, #4790.

4481: Fix ambiguous "Keep id" -> "locator" in example scripts.

4481: Refresh Crunch script tutorial page.

* The script now normalizes the output path, for consistency with
  other scripts, and it looks nicer.
* Modernize the job log output slightly, and adjust text to match.

4481: Update tutorial Crunch scripts to use newer PySDK methods.

Most focus is on the file Collection file methods added in #3603.

Merge branch '4792-arv-ls-normalize-wip'

Closes #4792, #4813.

4523: cleaner update of render_editable_attribute method to use textarea for descriptions.

4358: fixed: the provenance graph was being generated twice, the second time for only one pipeline

4523: updated render_editable_attribute to use textarea for descriptions.

4523: Change description column from text to string on jobs, groups, pipeline_instances and pipeline_templates. Also, update search indexes to include the description column for those tables.

4792: arv-ls normalizes the collection before listing.

I sort of ended up rewriting arv-ls to make it testable, but hey,
that's part of the support task.  Normalization is the only functional
change I made.

Merge branch 'master' into 4523-search-index

closes #4414
Merge branch '4414-add-new-in-project-dropdown'

3198: Start to refactor locators_and_ranges to use for replacing ranges

4414: use ensure_unique_name option to instruct api server to create unique name for new project.

4414: add "Add a new project" link to project dropdown.

4598: correct search criteria for Crunch job output

Crunch stderr output is stored in the properties/text field of logs with
event_type 'stderr'.

Limited the filter criteria to event_type = 'stderr' and modified
text pattern filtering appropriately.

Now uses arvados.util.list_all to retrieve all stderr rows within the
specified time frame.

closes #4476
closes #4804
Merge branch '4476-search-next-page-issue'

closes #4799
Merge branch '4799-move-selected-error'

refs #4754
Merge branch '4754-performance-benchmarks'

Merge branch 'master' into 4754-performance-benchmarks

Merge branch 'master' into 4523-search-index

4523: update db migration script for owner_uuid index to drop index only when it exists.

4523: update down method in search migration script to drop index only when it exists.

4804: search dialog retains project_uuid param in next_page_href.

4598: add crunch-failure-report.py

4476: include filters in search next_page_href url.

4799: do not offer "move selected" option when current user cannot write to the project.

4027: Document arvados_sdk_version's virtualenv requirement.

Refs #4027.

Merge branch 'master' into 4523-search-index

4754: add command to be used to run diagnostics testing as a comment.

4754: update assertion to look for a data-object-uuid

4754: support RAILS_ENV=performance

Merge branch 'master' into 4754-performance-benchmarks

Merge branch '4499-one-task-per-input-file-normalize'

Fixes #4499.

Download bwa and samtools from a self-hosted mirror, sf.net downloads
are way too unreliable.

No issue #

Merge branch '4293-node-manager-timed-bootstrap-wip'

Closes #4293, #4732.  Refs #4380.

4293: Node Manager shuts down nodes that fail to boot.

This helps Node Manager detect and correct when a node fails to
bootstrap.

4380: Node Manager SLURM dispatcher proceeds from more states.

Per discussion with Ward.  Our main concern is that Node Manager
shouldn't shut down nodes that are doing work.  We feel comfortable
broadening the definition of "not doing work" to this set of states.

Merge branch '3781-browser-upload' closes #3781

3781: Fix test that assumes only one empty collection is readable.
Wait longer for browser timeout in upload-fail test.

3781: Merge branch 'master' into 3781-browser-upload

4754: move search test into browsing_test.rb instead of having its own file.

4754: search_test assertions

3781: Add singletest function.

3781: Add test cases: empty files, renaming, and error reporting.

4754: add rails-perftest and ruby-prof gems to enable performance benchmarking and add search_test.rb

4499: Normalize manifest in one_task_per_input_file

* arvados.job_setup.one_task_per_input_file now calls cr.normalize()
  before creating tasks.

* Added unit test in test_sdk.py to confirm that the expected number of
  tasks are created when called on a normalized manifest.

4523: omit text type columns from searchable columns.

4523: update migration scripts to hard code tables and columns.

4027: Update arvados-cli in API server bundle.

Refs #4027.

Merge branch '4027-crunch-sdk-install-wip'

Closes #4027, #4667.

4027: crunch-job logs its own version information.

By request in code review, to help detect situations where
crunch-dispatch and crunch-job are out of sync.

4027: Crunch installs jobs' requested arvados_sdk_version.

* crunch-dispatch fetches the requested SDK version into its internal
  git repository, just like it does for the Crunch script.  Refactored
  crunch-dispatch to make that code reusable.

* crunch-job's main script archives the sdk subdirectory as of that
  commit, sending it along to compute nodes in the same .tar as the
  Crunch script, under .arvados.sdk.

* crunch-job's __DATA__ dispatch section looks for the SDK under
  .arvados.sdk, and installs it as much as possible.

Since I was messing with it so much already, I changed the semantics
of crunch-job's __DATA__ section: it is now either in installation
mode or run mode, based on whether there's anything in @ARGV.  I
confirmed that this is consistent with current calls to the section.

4027: arvados/jobs includes virtualenv.

This lets you use the arvados/jobs image with the arvados_sdk_version
feature of Crunch.

4027: Bugfix update-gitolite.rb in Docker.

* Load a YAML library.

* Support ARVADOS_API_HOST_INSECURE, and set it in normal Docker use.

4027: Revamp SSH use in our Docker images.

* Don't install or run SSH in most of our Docker images.  `docker
  exec` is now preferred to inspect running images.

* Do run SSH on the API server, always, for Gitolite.

There is a feature regression here: the user's SSH key is not
automatically installed on the shell account.  This needs to be fixed
another way.  In the meantime, it's not difficult to run
`docker exec -ti --user=self shell /bin/bash`, and you can clone the
repository from the host system.

3781: Fix trigger() usage: second argument is an array of handler args.

3781: Fix progress% (100, not NaN) and manifest format (>=1 data locator) for zero-byte files.

4523: trailing white space

4523: schema update

Merge branch '4269-no-collection-uuid-in-script-params'

Refs #4269.

4269: clean up uuid regex matching

Code review feedback:

* Improved name for validation "no_collection_uuids" to
  "ensure_no_collection_uuids_in_script_params"

* Added ArvadosModel.uuid_regex (along the lines of uuid_like_pattern)
  and substituted it for hardcoded uuid regexes throughout the code.

closes #4477
closes #4719
Merge branch '4477-no-job-log'

4523: migration script update

3781: Go to "Done!" state when the last upload completes despite a late call to stop().

4523: search index migration script

4523: add search index

3781: Fix use of committed flag. That is now called state==="Done".

3781: Fix exaggerated claims of being finished.

3781: Merge branch 'master' into 3781-browser-upload

4523: add owner_uuid index on all tables that support this column.

Reset listener=nil before running main() from test cases, so
waitForListener() does not get confused by listener!=nil left over
from previous tests. Fixes intermittent test failures.

refs #3828

4533: Wait up to 10s for "lock tables". refs #4533

3781: Update tests.

3781: Merge branch 'master' into 3781-browser-upload

3781: Add ng-cloak style.

3781: Add Uploaded state, fix handling of Pause during appendToCollection.

3781: Do not portray "stopped" state as an error if it was reached by clicking Pause.

3781: Tweak link text. Remove redundant title attributes.

Merge branch '4156-no-gemfile-lock-for-gem' refs #4156

4533: Lock all tables, not just the ones with fixtures. refs #4533

3781: Fix more {==,!=} -> {===,!==}.

Merge branch '4314-trigger-job-update' closes #4314

closes #4559
Merge branch '4559-long-component-names'

4559: missing quote

Merge branch 'master' into 4559-long-component-names