3603: Make CollectionWriter file flush test stricter.

3603: Fixup last commit.

3603: Improve PySDK file API compatibility.

Per code review.

3603: PySDK Collection objects support file-like APIs.

This commit adds an open() method to CollectionReader and
CollectionWriter.  They mimic the built-in open(), returning objects
that implement as much as the Python file API as I can reasonably
manage.

3603: Clean up PySDK imports.

Sort; remove unused imports.

3603: Fix context methods for PySDK Collection objects.

Merge branch '3706-keep-warning' closes #3706

3706: Oops, the test was broken, the feature works fine.

3706: Add (skipped) test for broken max_manifest_depth=0 feature.

3706: Merge branch 'master' into 3706-keep-warning

3706: Remove superfluous conditional.

3706: Add back "collections.get => 404" to "fallback to Keep" test.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

3706: Prefer "is None" and "is not None" to "== None" and "!= None".

3706: Mutating normalize() does not return self.

3706: Process directory trees in sorted() order, instead of the order
returned by os.listdir().

This causes write_directory_tree() to produce a manifest that is
normalized to the greatest extent possible for the given
max_manifest_depth.

4388: Ruby Keep::Manifest skips blank lines in manifests.

Closes #4388.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

3706: Clarify test case.

3706: Prefer join() to many string concatenations.

3706: Prefer "if x" to "if len(x) > 0".

3706: Two blank lines after class definition.

3706: Really make the API server return the wrong data, instead of just saying so.

3706: Put --normalize and --max-manifest-depth arguments in a mutually_exclusive_group.

Merge branch '4040-fuse-tests'

Fixes #4040.

3706: normalize() returns None instead of self. Add equally convenient, and more Pythonic, manifest_text(normalize=True) feature.

3706: Catch and return exceptions in _populate_* methods to dry up _populate()

4040: code review feedback

* Renamed
** collection_owned_by_fuse_1 -> collection_1_owned_by_fuse
** collection_owned_by_fuse_2 -> collection_2_owned_by_fuse
* Added fixtures pipeline_instance_owned_by_fuse and
  pipeline_instance_in_fuse_project.
* Added name link for the empty collection, to exercise that links are
  exposed in the filesystem in the expected way.

Fix broken link in docs. Duh.

refs #4186

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Fix comment to state that tasks must not assume $TASK_KEEPMOUNT is /keep.

Fix google-api-client version deps. No issue #

Merge branch '4359-project-paging' closes #4359

Merge branch '4088-filterable-docs' refs #4088

3706: Use normalize() in arv-mount.

3824: Import GPG key needed for RVM installation.

3824: Remove redundant "apt-get update", standardize on "apt-get update -qq" and "apt-get install -qqy".

3824: Set mode on /etc/fuse.conf in compute image.

4307: Workbench: only pipeline components are not editable after start.

This fixes a regression from d7fdbbab.  Closes #4307.

4088: Add usage docs to filterable.js

3824: Bring back $! in error message, in case it's helpful.

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Use Data::Dumper instead of custom quoting to show srun/task exec args.

4091: Use <=N instead of <N+1. Pass "uuid not in" filter to API instead of adding custom filter params.

4040: clarify variable names

Per code review: give d1, d2, d3 more descriptive variable names.

closes #4091
Merge branch '4091-test-infinite-scrolling'

Merge branch 'master' into 4091-test-infinite-scrolling

4091: set the limit size to 50 for "Jobs and pipelines" tab.

4040: update FUSE driver tests with stable fixtures

Added test fixtures specifically for FUSE driver tests.

Fix Node Manager test bug introduced by last commit.

Bad Brett, only running specific tests.  No issue #.

Fix race condition in Node Manager shutdown tests.

ComputeNodeMonitorActor considers a shutdown when it's initialized.
Blocking on the subscription we send ensures that message is fully
processed before the tests continue.  This is important because
several of them change the shutdown state immediately after, and that
might be seen by the internal shutdown consideration without this.

No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/1027/console>.

Fix the goldang consarned FUSE tests again.

No issue #, dammit

Merge branch '4088-collection-show-files-filter'

Refs #4088.

4088: filter only on files

Only apply the regex filter to files; continue to process subdirectories
as normal in order to keep the appropriate filename hierarchy.

4088: fix alignment for right-floating input field

Improve config/application.yml.example for the API server and workbench:

* API server: define prefix_uuid in development mode
* workbench: add a production section

No issue #

4088: code review feedback

* Filter files by regex before .take(10000)
* Added "regular expression" placeholder in the filter input box
* Issue a Rails "alert" div if the regex could not be parsed
* Test that we're actually viewing a collection when no matches are
  found (and not a fiddlesticks page or something)

Fix off-by-one error in Node Manager server calculations.

This bug prevented Node Manager from starting nodes for a job that
requested a number of nodes equal to the daemon's max_nodes setting.
No issue #.

4091: update jobs fixture to set same created_at timestamp for some of the jobs.

4091: enhance code to handle the case where there are more than one item in the next page matching the previous page's last object's created_at time.
Also, handle the case where the entire next page has the same created_at time as the previous page's last item; to keep things simple, stop scrolling in this case.

4088: filter collection file view by regex

Added a "Filter" field for supplying a regular expression to filter
filenames. Updated integration tests.

3824: Remove redundant addition of arvados package repo and key.

3824: Add sources.list file missing from commit:0f9aaf1

3824: Fix up logging messages.

3706: Merge branch 'master' into 3706-keep-warning

3706: Remove automatic normalization. Add --normalize option to
arv-put. Add normalize() and stripped_manifest() methods to
CollectionReader. Clean up normalize code.

3706: Consolidate more regular expressions into util package.

3706: Do not leave zero-length file segment at end of stream after finish_current_file().

3706: In CollectionReader, try fetching manifests before/after API
server when the ID is a Keep locator with/without a permission hint
respectively. Do not display a warning if the manifest is found one
way or the other.

4091: retain filters in project contents collections and similar tabs.

Merge branch 'master' into 4091-test-infinite-scrolling

4091: change project contents order from uuid to created_at.

Merge branch '4015-collection-chooser-portable-data-hash'

Fixes #4015.

4015: update FUSE mount tests (again)

4015: simplify integration tests

Responding to code review in #4015-8:

We can (and should) test that the collection portable_data_hash is
recorded in individual tests without adding explicit new tests or
fixtures.

Updated test 'Create and run a pipeline' and the helper
create_and_run_pipeline_in_aproject to check that the collection
portable_data_hash, uuid and name have been recorded correctly in the
Advanced tab.

Merge branch 'master' into 4091-test-infinite-scrolling

Merge branch '4297-dispatch-load' refs #4297

3706: Silence fallback-to-keep warning, show both errors (API and Keep) if both fail.

4297: Merge branch 'master' into 4297-dispatch-load

4297: Rename @have_tags -> @job_tags, @have_commits -> @fetched_commits. Add comments.

4297: Use save! instead of save to ensure failures get logged.

3824: Use keep volumes big enough to store the arvados/jobs docker image. Do not clobber settings.conf if not starting apiserver.

3824: Do not say "There are  jobs in the queue ahead of this one" if queue_position is unknown.

3824: Add dnsmasq to compute images, to make docker-in-docker work. refs #3333

3824: Use a docker volume for TASK_WORK, clean up env var and tmp dir handling, improve logging.

closes #4285
Merge branch '4285-view-download-collection-subdir-files'

4285: use regexp to prepent ./ to file path

4285: prepend './' to file path being retrieved when it is in a subdir in a collection.

Merge branch 'master' into 4091-test-infinite-scrolling