Merge branch 'master' into 1977-provenance-report

Work in progress

Provenance graph now uses full width of window

Initial work adding provenance query to API server

Left navbar uses bootstrap "nav-header" class for section headers.

Hooked into bootstrap/jquery to resize svg box when tab is shown.

Adjusts scrollbar to maintain center of image when zooming

Merge branch '1946-request-body-vs-parameters'

closes #1946

Remove request body object from parameters lists in *.create and
*.update -- mark it required in the request body instead.

refs #1946

Add version string to arv (assume "gem install" makes the version
apparent in the executable path).

Do not add body object to discovery parameters.

Fix up dependencies, pin google-api-client at 0.6.x

Add Gemfile.lock

Send parameters in the request body instead of query parameters if
discovery document specifies request.properties.(key).$ref.

refs #1946

Use javascript to set the size of the svg box so that the horizontal scrollbar stays on screen.
Use javascript to enlarge/shrink the svg image ("zoom in" and "zoom out" buttons).

Add tests, fix dependencies so "bundle exec rake test" runs.

Fix crash when no config file exists, and fix config access from Model
class.

refs #1943

Remove Keep prototype (moved to branch 1747-keep-prototype-ruby).

refs #1747

Performance fix to only visit a node once.
Fix to not add blank/nil nodes.
Only adds nodes for script inputs that are collections.

Do not offer to let non-admin users create new keepDisks and nodes.

Change underscores to camelcase in "kind" strings as documented.

Add virtualMachine test fixture.

Replace Admin menu with System menu (users can see those things too).

Always use symbol keys for object attribute names and string keys
inside serialized hashes, rather than HashWithIndifferentAccess.

This ensures serialized attributes go into the database as plain
hashes with string keys, even when Rails was responsible for
unserializing the data coming from the client.

refs #1944
refs #1987

Ensure we always respond with json (except the redirect at the root
URI).

closes #1739

Do not run ec2 commands in test mode.

Update tests to match recent permission changes; dry up "404 if no
object found" logic; fix status codes in some error responses.

Follows both jobs and links to show provenance for a collection
Collapses similar jobs into a single node by script name and version
Node hrefs work except for git hashes.

Use discovery document to build infix->kind map instead of using a
hard-coded list.

Provide UUID prefix used for each schema in discovery document.

Fix crash on error pages by removing before_filters that assume there
is a current_user.

Change underscores to camelcase in "kind" strings as documented.

Checkpoint, draws a somewhat useful graph, needs a lot of work though.

Add /keep_disks page to Admin menu.

Fix keep_disks.ping to accept a correct ping_secret in lieu of a
sufficiently authorized token.

Update schema migration version.

Always accept properties and info as serialized attributes.

refs #1944
refs #1987

Always use string keys instead of symbol keys for serialized attributes.

refs #1944
refs #1987

Tweaked running external program tutorial to make it more explicit that md5sum is the external program used in the example.

Gemfile now just points to gemspec so same dependency information is not listed twice.

Added doc/_site to gitignore

All git access should happen via git@ urls, not git://

Cache the API discovery doc for at least 24 hours (refs #1923)

add list-inactive-users.rb script.

closes #1817

Merge branch '1943-client-sdk-config-files'

Conflicts:
sdk/python/arvados/__init__.py

Clients use $HOME/.config/arvados/settings.conf for configuration. (fixes #1943)

Merge branch '1881-normalize-collection-uuids'

closes #1881

Merge branch '1922-cache-discovery-python'

Merge branch '1868-tutorial-running-binary-progs'

Merge branch '1911-python-sdk-pydoc'

Merge branch 'master' of git.clinicalfuture.com:arvados

Fixed import problems due to splitting module into multiple files

New tutorial for running external programs

Removed "Tutorial:" from titles since that was an artifact from before we had improved the navbar.  Also fixed typo in tutorial-trait-search.

collection.py import stream

Updating API parameter documentation (refs #1901)

Removed unused parameters.
More docs for the "list" command.
Use only the first line of the parameter documentation in "arv resource help".

Started tutorial on running external programs

Fixed path to glyphicons

Moved Python SDK and crunch utility scripts pages to SDK Reference section.

Fix circumventing usual permission mechanism in nodes.ping.

Add section about adding Keep disks during install.

Update bundle. Avoid google-api-client 0.7.0 (rc2 is incompatible) and
ensure minitest >= 5.0.

Add link to "create standard objects", and delete obsolete tutorial
instructions.

Script to build python documentation (requires epydoc)

Added Python SDK section to documentation

Fix error message when the all-users group can not be found.

Renamed Keep/Stream/Collection submodules to keep/stream/collection (lower case)

Moving Collection, Stream and Keep classes into their own files

Render token with ApplicationController#show instead of calling
as_api_response directly from
api_client_authorizations.create_system_auth.

Resolves:

Error: #<ActsAsApi::TemplateNotFoundError: acts_as_api template
:superuser was not found for model ApiClientAuthorization>

Cache discovery document in ~/.cache/arvados/discovery/.

refs #1922

Set cache expiry time on discovery document.

refs #1922

Remove +K@{name} hints from collection uuid, link head/tail, job
output/log, and job_task output.

refs #1881

Normalize collection UUID to {hash}+{size} before save and lookup.

refs #1881

Merge branch 'master' of git.clinicalfuture.com:arvados

Updated `arv' command line format options. Default now generates JSON. (refs #1889)

Replaced --pretty, --json, --uuid, --yaml, --human with
--format={json,uuid,yaml}, and added --short for --format=uuid.

Default output format is now JSON (pretty-printed).

Merge branch 'master' of git.clinicalfuture.com:arvados

Changed upload path in scp command to load to /scratch/you instead of just /scratch, tweaked markup to try and emphasize that "you" that should be replaced by your own username.

Merge branch '1880-check-duplicate-public-key'

closes #1880

Add themes to .gitignore in apps/workbench

Removed spurious '>' (typo)

Merge branch 'master' of git.clinicalfuture.com:arvados

refs #1912
* ssh-access tweaked to emphasize need for user to use their own user name and not 'you' and changed example ssh config to use *.qr1hi to *.arvados
* tutorial-firstscript suggests using nano to edit files instead of leaving the user hanging
* Fixed inconsistent keep locators for manifests caused by removal of +K@qr1hi from locators
* Removed +K@qr1hi from all locators used in examples

Accept DSA public keys ("ssh-dss"), not just RSA.

refs #1880

Reduce boilerplate on error messages.

"The error message [API 422]" instead of "#<RuntimeError: API error
422: The error message>"

refs #1880

Tweak error messages to render nicely as Rails "full messages".

"Public key does not appear to be ..."

refs #1880

Use render_error instead of custom error logic in update method.

Respond with an error status if save fails during create method.

refs #1880

Use AJAX when adding a new authorized_key from the user home page.

On success, replace reminder box with a "Key added" message. On
failure, display the error message below the form.

refs #1880

More clinicalfuture.com -> curoverse.com

Fixed spaces in manifest stream names.  Refs #1849.

Fixed spacing on dashboard and generic table page when tables are empty.

Adds validate :public_key_must_be_unique to AuthorizedKey which checks to see if the key
a) looks like a ssh-rsa key
b) that the key isn't already in the table

Merge branch 'master' into 1880-check-duplicate-public-key

Do not attempt to load authentication config file unless it exists.

closes #1915

Fix "ignore client-provided values for protected auditing attributes"

(Broken by 976a754dc7fceee767322ae964c287b63595211f)

Added validate step, needs testing

Remove boilerplate comments and unused test fixtures.

refs #1696

Merge branch 'master' of git.clinicalfuture.com:arvados

Fixed Python SDK to quote/unquote spaces when reading/writing manifests.  Refs #1849

Inactive users can get a list of Keep disks.

(Otherwise they cannot retrieve user agreements.)