Merge branch 'master' into 4523-full-text-search

4523: update tests to include :* in the filters sent rather than expect server to append it.

refs #4926 #5072 Merge branch '4926-fix-imagesizes'

Merge branch '4464-api-project-contents-wip'

Refs #4464.  Closes #5140.

4464: Simplify API collection list method docs.

4464: API group contents no longer include manifests.

This change achieves symmetry with the collections list method, which
doesn't return manifests unless you expressly request them.  We don't
have a good way to support the select parameter in group contents at
all right now, so this commit also makes that clear through the
discovery document, and documents the limitation.  This change should
help avoid performance problems like witnessed in #4464.

Some refactoring/clean-up to help support this change:

* Extract out a method that generates the full hash response to list
  @objects.  Reuse that code in the groups contents method.
* The collections controller had code to generate a list of a model's
  selectable attributes.  Move that to ArvadosModel and reuse it in
  the groups contents method.
* Make signatures consistent across all definitions of apply_filters
  and apply_where_limit_order_params.  The latter simply passes
  arguments to the former, so it can have the same signature, and it
  should respect the provided model_class argument the same way.  Same
  for the override in the users controller.

4464: Document API group contents parameters.

4464: Remove API group contents include_linked parameter.

With Tom's permission.

5175: Avoid egg_info name conflicts with pip.

pip does its own subclassing of egg_info.  Installing with pip fails
if setup.py includes an egg_info class that is passed in as the
cmdclass for the egg_info command.  Avoid using that name to avoid
conflicts with pip.  Refs #5175.

4523: update full text search record_filter to not append :* for prefix matching; instead expect client to append it as needed.

Merge branch '5175-pep-440' refs #5175

5715: Sort imports.

5175: Revert change to find_packages(), it gets confused by run_test_server.py.

5175: Include README for Node Manager packages.

5175: Do not add +sha1 tag to Python packages ever.

PEP 440 is clear that the local version tag is for distributors who
are patching an upstream release.  That's not us; we are the upstream
release.  "Local version identifiers SHOULD NOT be used for upstream
projects," so just don't do it.

This also lets us sidestep the issue of trying to parse sys.argv
behind setuptools' back.

Developers who want to keep their development builds distinct should
tag packages themselves with -b .devN.

4523: Add tests for some edge cases.

4523: Fix up whitespace.

4523: Remove unneeded else.

5175: Do not add +sha1 tag unless --sha1-tag flag given.

4523: update full text search to append ':*' for each word to support a collection file search such as dir_name_part space file_name_part.

Merge branch 'master' into 4523-full-text-search

Conflicts:
services/api/test/unit/collection_test.rb

Merge branch '5011-arv-put-replication' closes #5011

5011: Fix comment about when local_store_* methods get used.

4926: Fixed images to be consistently 900x500

Merge branch '3021-leave-api-running' refs #3021

4523: slightly modified full text search condition.

Merge branch 'master' into 4523-full-text-search

5011: Merge branch 'master' into 5011-arv-put-replication

5011: Make docstring less scary.

3021: Bugfix for arvados_fuse.TagsDirectory to correctly merge tag list updates
with existing TagsDirectory entries.

3021: Use bind(0.0.0.0, 0) instead of grep /proc/net/tcp to find a port number.

Relax version limit of python-daemon dependencies.

We imposed this limit in 9c2e673ba96ba5d11e56a4aba67157e64dfe01e2.
The issues seem to be ironed out as of version 2.0.4.  See:

* <http://lists.alioth.debian.org/pipermail/python-daemon-devel/2015-January/000114.html>
* <https://bitbucket.org/pypa/setuptools/issue/338/__future__-imports-are-not-effective-in>

No issue #.

Merge branch 'master' into 4523-full-text-search

3021: Merge branch 'master' into 3021-leave-api-running

Conflicts:
sdk/python/tests/test_websockets.py

3021: We use passenger in dev and test environments, too.

3021: Make sure any unexpected openssl output ends up on stderr.

3021: Reduce race potential by resetting database after fuse unmounts.

3021: Remove unused variable.

3021: Use kwargs to pass options through make_mount(). Dry up FuseTagsUpdateTest.

Merge branch '5141-workbench-numeric-inputs-wip'

Closes #5141, #5143.

5141: Workbench permits float values for number pipeline inputs.

Previously, when a pipeline input had the number dataclass, we
rendered the input form with type=number.  However, the Arvados number
dataclass is meant to allow all numeric types.  The HTML 5 number
input type only permits integers.

Unfortunately, X-Editable does not have any built-in validation for a
broader range of numeric types.  This commit simply removes any
validation.

3021: Give up earlier if ARVADOS_TEST_API_HOST is set but reset() fails.

3021: Reset env vars in any reset(), not just in start().

Avoid optional disk cache usage if it is owned by a different user. refs #2659.

5135: Workbench consistently orders modal buttons.

Primary buttons should be first from the right, following Bootstrap
conventions and Tom's edict.  Closes #5135.

Merge branch 'master' into 4523-full-text-search

Conflicts:
services/api/db/structure.sql

4523: preparing to merge master

3021: Set env var to empty string instead of removing it. Unsetenv isn't worth introducing a dependency on Go 1.4.

5011: Add forward compatibility, so we don't need backward compatibility later.

5011: Add tests and comments for redundancy vs. replication_desired attrs.

5011: Fix up docstring.

Merge branch '4472-save-partial-output' closes #4472

5011: Dry up three different solutions for mocking keep_services().accessible().

5011: Merge branch 'master' into 5011-arv-put-replication

3021: In start(), if a stale server is already running (but we can't reset() it), kill it.

3021: Check whether a randomly selected port is available before using it.

3021: Don't worry about env vars, run_test_server.py does that.

3021: Fix use of inaccessible global in atexit handler.

3021: Remove ARVADOS_KEEP_PROXY support. (If you need to interfere
with the discovery mechanism from out-of-process, use some combination
of HTTP_PROXY, NO_PROXY, and a generic proxy server.)

3021: Set up a proxy-only keepclient manually, instead of communicating with global/env vars.

3021: Tidy up (and document) the choice of exactly which server we expect to run/reset/stop.

3021: Fix misspelled variable.

Merge branch '2659-anonymous-share-projects' refs #2659

5011: Convert comment to docstring.

5011: Sync local_store_put/get() signatures to put/get(). Add docstrings.

5011: Use None, not 0, to signify default replication.

2659: Use a partial instead of a switch block for the not-so-generic "create object" button. Don't show one at /jobs or /collections.

2659: Use assert_operator to help debug unreliable test.

2659: Split skip_around_filter back into two separate cases. 063c546 was misguided here.

5131: Document run-command's escape sequences.

Refs #5131.

2659: Do not turn on anonymous config by default in test mode; instead make the tests set it as needed.
Also convert some of the simple integration tests into controller tests.

2659: add publicly accessible pipeline instance and template to the list of objects to be expected in the project.

Merge branch '2659-anonymous-share-projects' of git.curoverse.com:arvados into 2659-anonymous-share-projects

Merge branch 'master' of git.curoverse.com:arvados into 2659-anonymous-share-projects

2659: Fix up chicken-and-egg conditions in seed setup.

2659: Fix infinite recursion while creating system_user.

Merge branch '2659-anonymous-share-projects' of git.curoverse.com:arvados into 2659-anonymous-share-projects

2659: tests do not "assume" that anonymous configuration is enabled.

2659: Token fail during download is 404 when anon token is enabled, 302 otherwise.

2659: Fix anonymous token test.

2659: add test cases where anonymous config is turned off for collections, jobs, pipeline instances, templates, and projects controller show method.

2659: Add separate test for "run pipeline" notification when anonymous token is configured, skip it for now.

2659: Do not ask to skip_around_filter(only:...) and skip_around_filter(if:...) for the same filter, because that doesn't work.

2659: Check anon config at runtime instead of boot time in skip_before_filter. This makes it possible for test cases to toggle behavior by changing configuration on the fly.

Merge branch '5131-run-command-consume-backslashes-wip'

Closes #5131, #5132.

5131: run-command consumes escape backslashes.

run-command has long recognized backslashes to inhibit
substitution, but it was leaving those backslashes in the string,
which could lead to incorrect commands.  This commit makes sure
they're removed after they're parsed.

2659: Remove obsolete "don't create jobs in workbench" rule.

2659: Update test to match changed error message.

2659: Remove obsolete "don't create collections in workbench" rule.

2659: Back out unneeded condition. Fix up whitespace.

2659: Toggle features according to editable? and creatable? instead of current_user.is_active. Fix up whitespace.

2659: Fix indentation.

2659: Use Collection.creatable? to toggle selection actions.

2659: Reload seeds (system_user et al.) after cache is cleared. Be more careful about errors while creating seeds.

5087: API server uses a crunch-job with bugfix.

Refs #5087.

2659: Set group_class=role on anonymous group, change name to "Anonymous users".

2659: Fix crash in /users/current when not logged in.

2659: Fix up 404 page.

2659: Fix crashes when current_user is nil.

2659: Send anonymous token as a reader token with all requests.