Merge branch 'master' of git.curoverse.com:arvados

2328: fix log.Warning bug

oops.

Merge branch '2328-keep-permission-flags' (closes #2328)

Merge branch '1968-monitor-disk-usage'
Lots of changes to datamanager. refs #2719

2328: code review comments.

Reversed histogram format, so timestamps come first.

Really write log messages to logfile. refs #2221 commit:ced5e21

Fix job state cleanup in crunch-job failure case.

2673: Use _method=GET hack to avoid combining request body with GET
method (but still support parameters too long to fit in a query
string).

2328: more 80-column fixes

2328: incorporate code review comments.

Wrap very long lines to 80 columns.

Describe each test failure more explicitly.

TestIndexHandler: Add /index/prefix tests for unauthenticated and
authenticated non-superusers.

TestGetHandler: initialize all variables in one var block.

main: failure to read permission key or data manager token is now a
fatal error.

Specify required ruby version (>= 2.1.0) in gems.

2673: Update bundle to ensure we get commit:67f1781 at runtime.

2673: Move auth to headers, avoid combining request body with GET method.

2821: Add "delete" button to pipeline instances page. closes #2821

2673: Update bundle to ensure we get commit:7ff8586 at runtime.

2638: Fix css syntax.

Add self-signed.{key,pem} to .gitignore files.

Merge branch '2673-no-request-body-in-get'

closes #2673

2673: Move auth to headers, avoid combining request body with GET method.

2754: Hide unhelpful "Add a new job" button.

2812: Fix "not in" filter so it can retrieve rows with null values.

closes #2812

Merge branch 'master' into 2352-remove-attrs

2808: Fix paging on jobs, pipeline_instances, api_client_authorizations.
Restore Jobs link to left nav.

closes #2808

Merge branch 'master' into 2352-remove-attrs

2756: Use site-default x-editable mode for pipeline instance name.

Inline mode avoided an "editable popup hides behind left nav" bug
which was fixed in c66afecd36cf7d91223b5db79f3e120954f8217d.

2352: log statement to include uuid if either active or success found in changed attributes.

2328: restrict all /index requests to superuser

Per discussion with Tom on IRC: all /index requests, whether they
include a prefix argument or not, should be restricted to the superuser.

2352: Address review feedback: (1) input can be edited even in Ready state, (2) pipeline cleanup to set state to Paused if RunningOnClient.

Merge branch 'master' into 2352-remove-attrs

2803: Make all Python required versions match wheezy.

2803: Further relax Python SDK requirement for httplib2.

Our build server is using version 0.7.4, so it's apparently fine.

Merge branch '2803-python-package-split-wip'

Closes #2803, #2804.

2803: Relax Python library requirements.

Refs #2803.  We're generally undemanding on the libraries we pull in,
and this can help us use more OS-packaged libraries.

2803: FUSE driver is now under the AGPL.

This is both our intent after the package split, and consistent with
/COPYING file.

2803: Split arvados and arvados_fuse Python modules.

Prior commits tried to make separate SDK and FUSE packages from the
same sdk/python source tree.  However, this didn't work as intended
once the packages were installed.  Python modules don't work like Ruby
namespaces.  If you ask Python to import arvados.fuse, it finds the
arvados module, then looks for the fuse submodule under it.  So you
can't have arvados.fuse installed somewhere completely differently.

In addition, Python packages assume the installation script is called
setup.py.  So they wouldn't find setup_fuse.py.

We still want to have the FUSE module separate, so in discussion on
IRC we decided that the least worst option was to rename the module to
arvados_fuse.  This commit implements that.  If accepted, the new
build procedure will be:

  $ python setup.py egg_info -b \
    ".$(git log --format=format:%ct.%h -n1 .)" sdist upload

Refs #2803.

2352: add a info level log statement in pipeline_instance.rb if active or success flags are updated. The expection is that this should no longer happen.

2352: Update the workbench and arv-run-pipeline-instance script to use pipeline_instance status instead of active and success flags.

2803: Remove unused setup.py.src.

Fix whitespace.

Fix Python SDK test suite issues.

Fix python SDK test suite issues.

2328: handler_test.go refactoring

Refactoring to make tests easier to read and understand.

Fix pipeline instance state tests.

Do not blindly overwrite GOPATH if it exists.

2328: fix TestPutHandler permission_ttl

permission_ttl is normally initialized in main, which is not run from a
unit test.  So a unit test which relies on generating valid permission
signatures must initialize permission_ttl itself.

Merge branch '2638-add-cache-age-disk-usage-histogram-to-workbench' closes #2638

2328: simplify tests, permission_ttl variable

Incorporating code review:

Added ExpectStatusCode and ExpectBody to simplify repetitive tests.

permission_ttl is now a time.Duration to reduce confusion about units.

Fixed stop_keep().  Updated test_mount because the fixture changed (again).

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

- Added MANIFEST.in to include setup_header.py in the source package.  Now gets
the version number from PKG-INFO metadata if available, or git if not, which
should handle all the cases of using sdist, pip install, or install from git
checkout.
- Improved run_test_server.py and fixed Python SDK tests to use it.

Trim newline from logfile hash emerging from `arv keep put`.

Merge branch '2525-java-sdk'

2759: Workbench shouldn't try to make links from Link names.

Because the name attribute can include arbitrary text, it might
resemble an Arvados object UUID.  If that happens, the
_arvados_attr_value partial will try to make a link from it.  All
sorts of weirdness could happen as a result (our specific bug was a
bad URL fed to Workbench's API client), so don't even try.  Just
render the name directly as editable text.

Closes #2759.

Merge branch 'master' of git.curoverse.com:arvados into 2638-add-cache-age-disk-usage-histogram-to-workbench

Added some documentation and renamed variables after Tim's review.

Remove now-superfluous build.sh step from the documentation to build the
Python SDK from source.

2328: do not expose keys to /bin/ps

For the data manager token and permission key, the command line flags
now specify a file from which to read secrets rather than specifying
them on the command line:

  --data-manager-token-file
  --permission-key-file

2525: update available params method

2525: getAvailableParametersForMethod includes properties from request also.
This is required for create and update methods which have no other parameters.

Merge branch '2352-use-state'

Merge branch '2739-fix-100-task-limit-wip'

Closes #2739.

2739: Ensure crunch-job spawns all new tasks.

Without this fix, crunch-job would only spawn tasks up to the API
server default result limit (currently 100).  Refs #2739.

Bugfix: Don't crash trying to render a new log buffer.

If you submit a Job and then try to load your Workbench Dashboard,
Workbench will likely crash because the log_buffer is a symbol at that
time.  This check guards to make sure that we only try to render
actual log content.

2352: when a running pipeline_instance is stopped in workbench, put it in Paused state.
Similar behavior as when run with --run-here at command prompt.

Merge branch 'master' into 2352-use-state

2352: fix issue with setting active during save

2492: Properly escape Docker image name in Crunch.

2492: Crunch respects the maximum length of Docker image hashes.

2352: look for only RunningOnServer in queue method in pipeline_instance

2352: set active to nil when Ready

2352: when --submit is used, set the state to Ready, not RunningOnClient.
And do not set Active to true.

Merge branch 'master' into 2352-use-state

Merge branch 'master' into 2525-java-sdk

2525: prompt example

2525: list resources, methods, and parameters in prompt example to improve user experience.

2525: Expand prompt example to list the available resources and methods. This can help enhance user experience.

Merge branch 'origin-2035-arv-mount-tags-folders'

Conflicts:
sdk/python/bin/arv-mount

Merge branch '2035-arv-mount-tags-folders' into origin-2035-arv-mount-tags-folders

Merge branch '2492-docker-crunch-jobs'

Closes #2492.

crunch: Install Docker images on demand.

Ward requested this to simplify the installation and testing
procedure.  This is sort of temporary scaffolding; we expect that in
the future Docker images will be stored in, and read from, Keep.

crunch-job: Support runtime Docker image.

This adds support for the allow_other mount option in arv-mount to
make the Keep mount available to the container.

docker: Build base container for Crunch jobs.

2525: refactor response printing

Merge branch '2744-update-dev-docs'

closes #2744

2525: update java sdk documentation to include ArvadosSDKJavaExampleWithPrompt

Improve tests: multiple values for "not in", check =, != results more carefully.

Merge branch 'master' into origin-2035-arv-mount-tags-folders

2525: more testing. also "=" works in place of "is_a" for a filter.

Eliminated build.sh and sed in favor of a common setup_header.py script which
call popen to get the git revision directly.  Removed spurious server_pid > 0
and added except Execption: on run_test_server.py.

2525: example param parsing

2525: example

Merge branch 'master' into 2525-java-sdk

2525: improve response printing in the examples for readability.

Merge branch 'master' of git.curoverse.com:arvados into 2638-add-cache-age-disk-usage-histogram-to-workbench

Clarify log methods page: say "log entry" instead of "log".

Document "filters" feature. Add missing "!=" and "not in" operators.

Added handler_test.go. (refs #2328)

Split out HTTP handler tests into their own file.

Refs #2328

Require enforce_permissions and API token as necessary.

Unqualified /index requests require enforce_permissions to be enabled
and an API token to be supplied with the request.

SignLocator should return an unsigned locator if no API token was
supplied.

Refs #2328