Merge branch '2449-keep-write-blocks' into 2449-keep-index-status-handlers

Conflicts:
services/keep/keep.go

Added status.json handler. (refs #2561)

Merge branch 'master' into 2449-keep-write-blocks

Update for code review (refs #2292).

* Use ioutil.TempFile to write new blocks, renaming to the correct
  name upon success.

* PutBlock should overwrite corrupt blocks, not report a collision.

* Get free disk space from syscall.Statfs, not `df`.

Added /index handlers. (refs #2561)

api: Give all Job fixtures script_versions.

Workbench tries to call to_sym on these versions, and hiccups if it's
nil.  This makes it easier to run integration tests, whether
automatically or by hand.

Trim newline from output hash emerging from `arv keep put`.

Fix tests: make sure system_user exists before making "pre-test users" list

Fix permission error when adding system_group->new_user permission link.

Change password placeholder to something db:load_config can parse.

Merge branch 'master' into 2449-keep-write-blocks

Move the javascript into a js file instead of using <script> tag in html file.

Remove trailing white spaces.

Add paste event check for submit button validation

Use bootstrap/theme style defaults for user setup modal and form.

Reset form fields on cancel.

Submit

Bootstrap modal css updated to include only what is needed.

Add header and footer to the setup user modal

Document capybara-webkit qt dependencies, and add phantomjs recipe.

Add email format validation to the input text field in the setup modal.

During setup of an existing user, create oid login permission, if it does not already exist.

Need to remove the user's "all users" group read permission during unsetup.
This shortcoming became apparent during testing when "is_invited" flag is checked.

Use webkit driver for Capybara instead of selenium for tests that need dialog handling.

Added integration tests for create new user, setup and unsetup existing user. The tests use selenium driver without headless. Hence, we see the browser while these tests are running.

Next step is to use headless to hide the browser during test execution.

Integration test for setup user

Submit button enabling revisited

Submit button enabled when existing user

popup submit button

Get the default openid_prefix from config.

Look for repo_name in VM link

Require only email and openid prefix in the setup popup. The other fields are optional.

New user creation using setup action is working

"Add a new user" link uses setup method to create a "loaded" user.

Minor UI tweaks

Disable submit button until all input fields are filled in.

Added bootstrap css

Pre-fill form fields with previous selections where applicable.

Virtual machines in a dropdown option in setup popup

Pass all parameters to the setup method

Multiple input elements in popup

Popup closes on submit

Working on setup popup

Setup popup display

Working on setup popup

Add a setup action to users controller and user model

Confirm dialog check commented our for now. Why is that I can't intercept the dialog and instead why is the  OK button clicked automatically?

Add users integration test class. Beginnings of setup and unsetup method tests.

Check for MD5 collisions and corrupt blocks. (refs #2292)

Merge branch 'master' into 2449-keep-write-blocks

Added IsFull() to check for free space before writing. (refs #2292)

Remove Ruby 2.1.0 dependency by using Hash[x] instead of x.to_h.

Merge branch 'master' into 2449-keep-write-blocks

PutBlock saves a block on only the first available volume (refs #2292)

Per code review: Keep stores a block on only one disk at a time.
Updated PutBlock, and PutBlock/GetBlock unit tests, appropriately.

Fix copy/paste error.

Fix $keep variable scope (refs #2221)

Merge branch '2221-complete-docker' (closes #2325, closes #2221)

Conflicts:
.gitignore

Semicolon fix (refs #2325, refs #2221).

Merge branch '2509-rake-linkchecker'

Use a simple 'open' for fetch_block (freeing up an extra filehandle). refs #2325, refs #2221

Resolving style comments from #2325. (refs #2325, refs #2221)

* README: remove numbers in headings

* linkchecker: only check file:// links

* epydoc: run against the local source tree, not against whatever
  version of the python 'arvados' package is installed

* generate: re-run epydoc on every generation

* generate: do not fail to include the epydoc output files if they are
  generated in the current run (which they now always are)

Use quotemeta to protect shell escapes (refs #2221, #2325)

Set umask to 022 when creating config files. (refs #2221)

docker: Install staged source on Docker images.

A separate build step to stage source makes it easier for us to fix
permissions and do other clean-up before installing it in a Docker
image.  It also reduces code redundancy; for example, builders don't
have to worry about excluding log and tmp directories.

docker: Tolerate existing tmp in api-image.

docker: `chmod go=rX` on generated files.

That's not how this is implemented, but the end result should be the
same.

docker: Don't try shell expansion in Makefile.

The original syntax, at least, is not supported.

docker: Improve build.sh's Makefile finding.

doc: Add rake linkchecker task, and document it in the README file

Merge branch '2209-correct-items-available'

closes #2209

Fix counting results in test case (count != size for an ActiveRelation).

Merge branch 'master' into 2209-correct-items-available

Really check for duplicate items returned, instead of just calling a
variable unique_uuids.

doc: Fix Keep links in tutorial-job1.

Merge branch '2470-doc-refresh'.

Closes #2470, #2490.

doc: Implement Tom's suggested improvements.

Refs #2470.

doc: tutorial-job1 updates and style tweaks.

The major change here is that we set no_reuse on the job, to avoid
confusing people by using results from previous tutorial runs.  These
updates also reflect some minor changes in the Workbench UI.

doc: job-and-pipeline-ref grammar fixes.

doc: Keep topic style tweaks.

doc: Fix typos in tutorial-parallel.

doc: tutorial-job-debug update and style.

* Jobs now require a "repository" parameter.
* Use environment variables to specify the job script.

doc: Make running-pipeline-command up-to-date.

* @arv pipeline run@ now requires @--run-here@.
* Pipelines are now under Activity in Workbench navigation.
* The format of the example output has changed, along with all the
  Keep hashes.

doc: Highlight "you" in reference JSON.

Since this reference provides users with raw example JSON, and doesn't
tell them to write it with @cat@, we can't rely on shell variable
expansion here.

doc: Use $USER in tutorial JSON.

The tutorial encourages users to copy and paste command text.
However, most of the JSON needs to have a user-specific value for
"repository", which is easy to overlook.  Since we're telling users to
save JSON with @cat@, we can take advantage of shell variable
expansion to make the right thing happen automatically.

I added accompanying notes to help explain what's going on for people
who aren't copying instructions so literally.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: Tweak running-external-program style.

doc: tutorial-new-pipeline clarity.

I renamed the "filter" job to "do_filter" to help disambiguate it a
little from "0-filter.py".

Conflicts:
doc/user/tutorials/tutorial-new-pipeline.html.textile.liquid

doc: tutorial-firstscript style consistency.

Conflicts:
doc/user/tutorials/tutorial-firstscript.html.textile.liquid

doc: tutorial-pipeline-workbench style+clarity.

doc: Fix tutorial-keep typos and consistency.

doc: Fix api-tokens typos and consistency.

doc: Fix ssh-access typos and consistency.

doc: Style and consistency in user/index.

Doc fixes.

Merge branch '2447-fix-workbench-search'

closes #2447

Fix searching on tables with no "name" column. Take care not to use
string operators on incompatible column types when applying
where/filters.

Load ArvadosApiClient after configuration.

Merge branch '2498-group-admin'

closes #2498

Fix down-migration: delete the system_group and automatically
generated links, and rename the migration.

Add migration to create system group in existing installations.