Merge branch 'master' into 6445-incorrect-task-runtime-calc

refs #6279
Merge branch '6279-web-shell-client'

6279: open the webshell client in a blank window.

Merge branch '6569-smarter-jobs-image'

closes #6569

Merge branch 'master' into 6569-smarter-jobs-image

Merge branch '6279-web-shell-client' closes #6279

6279: Hide "reconnect" button because it doesn't auto-login.

6279: Provide feedback that authentication token has been sent.

6279: Do not retry a request that "timed out" in less than 2 seconds.

In this case it's probably not a timeout -- more likely a CORS problem
that the browser is not allowed to report to the Javascript program.
In such cases, retrying ad infinitum will not help.

6279: Do not set content-length headers in XHR.

According to error messages in Chrome console:

Refused to set unsafe header "Content-Length"
  ShellInABox.sendRequest @ shell_in_a_box.js:178
  ShellInABox.onReadyStateChange @ shell_in_a_box.js:206
  (anonymous function) @ shell_in_a_box.js:183

6279: Move keyboard assets to /public/webshell/

Make sure to add python-virtualenv to the Docker arvados/jobs image.

refs #6569

6445: when a task does not have finished_at time, use the finished_at time from it's job - if one is available.

Merge branch '6222-memory-status' refs #6222

Merge branch 'master' into 6569-smarter-jobs-image

Merge branch '6218-python-sdk-perf' closes #6218

6218: Generate profiling data for a few arvados.collection.Collection scenarios.

Make sure that mkimage-debootstrap.sh uses -f when tagging docker
images.

refs #6528

Make sure that mkimage-debootstrap.sh does not try to do an interactive
docker run when there's no tty.

refs #6528

Make the arvados/jobs image leaner.

refs #6569

6279: Move webshell action into VirtualMachinesController, tweak formatting & config.

* Document config var

* Accept formatting references like %{hostname} and %{uuid} in config
  var instead of always appending "/#{hostname}"

* Fix favicon, js, and stylesheet paths (use asset_path helper); move
  js and css into public/webshell/

* Use j() quoting helper in js.erb

6279: added shell_in_a_box url as comment

6279: Noticed that enabled.gif is also needed. I see this one when I use the right mouse click in shell_in_a_box terminal,
and use the reset option. Added this gif.

6279: add some comments

i6279: The '-' and '_' are not working in Firefox. Upon googling, found this URL that suggested a workaround:
https://code.google.com/p/shellinabox/issues/detail?id=202

Merge branch 'master' into 6279-web-shell-client

6279: if hostname ends with .shell, strip it.

6358: Declare FUSE driver's dependency on llfuse >= 0.40.

The workaround added in 08284382 requires this version.  Below that,
llfuse's Queue at least lives in a different place.  We may be able to
support older versions with more nuance, but for now, just codify the
current reality.

Closes #6358.  Refs #3198.

qiuck fix to arvados-pam vulnerability

no issue #

Merge branch '6377-dev-startup' refs #6377

Merge branch 'master' into 6279-web-shell-client

Merge branch '6384-libpam-arvados'

closes #6384

Whitespace fixes

refs #6384

Merge branch 'master' into 6384-libpam-arvados

6384: reverting names

Rename file

refs #2256

Fix path for arvados_pam.py

refs #2256

Fix typo.

refs #2256

added /etc/default/arvados_pam as a parameter

refs #6512

Fix typo. No issue #

6377: Update docs to use application.yml instead of omniauth.rb for SSO config.

6377: Fix crash if no asset pipeline.

6377: Update ruby to 2.1.6. Remove bundler version pin (not needed since ca1d997).

6377: Avoid "incompatible encoding" errors by using blank template0 instead of site-specific template1.

6377: Fix reversed condition in "site application.yml is optional" fix.

6377: Use fork of themes_for_rails with fixed gemspec.

Allows installing with current bundler versions, which treat the invalid
gemspec as an error.

6377: Support loading omniauth config from application.yml.

Merge branch 'master' into 6279-web-shell-client

6279: add login link in VM panel of manage_account page that takes user to shell_in_a_box.

Merge branch '5989-api-all-repos-permissions-wip'

Closes #5989, #6479.

5989: API repo perms method always returns all repos.

Previously the method would not return repositories that were not
accessible to any authorized key.  This change helps deployment tools
like update-gitolite do repository setup correctly with a single API
call.

6377: Missing application.yml is not an error.

6222: Add memory stats to status.json.

Reduce malloc activity in status.json.

Remove abandoned GetVolumeStatus, and move its tests over to
volume_unix_test.go.

Add arvados_pam.py and shellinabox pam configuration file.

Refs #2256

5989: bug_1 added puppet repository patch

this is duplicated code from:

puppet/modules/arvados-git-server/templates/usr-local-arvados-update-gitolite.rb.erb

I just copy the code that was there

5989: create directory structure for temp files

refs #5989 bug_1

Merge branch '5677-plpgsql-warning' closes #5677

5677: Edit structure.sql after db:structure:dump: avoid warnings when loading, and editwars when committing.

closes #6466
Merge branch '6466-disable-public-projects'

Merge branch 'master' into 6466-disable-public-projects

Merge branch '6438-multiplatform-install-guide-wip'

Closes #6438, #6455.  Refs #6388.

6455: Include more steps in Crunch install docs.

* Document the necessary API server configuration change for
  crunch-dispatch.
* Document Docker installation.
* Note compute node crunch users need to be in the fuse group.

6438: Modernize Rails server installation guides.

Document the package-based installation procedure, and associated
Nginx configuration.

6388: Add CentOS 6.6 instructions to install docs.

6466 - Update body html for enable public page and added tests to project controller test.

closes #6013
Merge branch '6013-cleanup-setup-impl'

6013: revert back the deactivate user button leading text in workbench user admin page.

6013: update user notification email upon setup.

6013: remove "repository" from user setup popup in workbench

6466:Added config parameter to disable public projects page and added a test to projects controller.

Merge branch '5989-bug_1' merge with puppet repo "copy and paste" to sync up duplicated code.

refs #5989

5989: bug_1 added puppet repository patch

this is duplicated code from:

puppet/modules/arvados-git-server/templates/usr-local-arvados-update-gitolite.rb.erb

I just copy the code that was there

Merge branch '6264-run-command-task-env' refs #6264

6264: Add task.env to documentation.

6264: Support setting environment variables.

5989: create directory structure for temp files

refs #5989 bug_1

Invoke crunch-job with `/usr/bin/env perl`.

No issue #.

Dockerfile had an error. fixed

no issue #

we need to manually install python-pyasn1=0.1.7 python-pyasn1-modules=0.0.5 because apt-get wont resolve correctly.
apt-get install are less quiet now too.

no issue #

6440: Display AJAX errors as text, not HTML. closes #6440

Fix bad CollectionReader reference in arv-put.

No issue #.

Merge branch '6432-pysdk-more-ca-certs-wip'

Closes #6432, #6434.

6432: Python SDK can find and use CA certs on Red Hat.

closes #6234
Merge branch '6234-user-edit-self'

Merge branch 'master' into 6234-user-edit-self

Update arvados_fuse version dependency on arvados-python-client.  refs #3198

Merge branch '3198-writable-fuse' closes #3198

3198: Rename --enable-write to --read-write.  Tweak docs.

refs #6218
Merge branch '6218-add-performance-profiling-to-python-sdk'

6218: update the exception handling.

6218: correct exception handling.

6320: Update Workbench test for active user VM setup.

Now that the test fixtures give the active user access to testvm2,
this test needs to be updated to account for it, just like the API
server tests were.  Refs #6320.

Remove unused modules from PySDK setup.py.

No issue #.

6218: update the symlink and comment

Merge branch '4410-slurm-fails-are-tempfails-wip'

Closes #4410, #6283.

6218: Refactor profiler as a decorator

4410: Crunch retries jobs when all SLURM nodes fail.

See the ticket for detailed background discussion and implementation
rationale, especially notes 13 and 14.

This required a couple of ancillary changes:

* crunch-job now makes a distinction between "task failed because a
  node failed," and "task failed for other temporary reason."  It uses
  this additional information to decide when it should retry tasks
  itself, and when it needs to give up and kick the problem up to
  crunch-dispatch.

* crunch-job now handles creating log collections itself from
  manifests generated by arv-put.  This enables it to append to logs
  generated during previous attempts to run the job.

4410: crunch-dispatch logs crunch-job exit later.

This makes it easier to log the exit code, and makes the logs look
nicer because the exit log doesn't interrupt crunch-job's stderr.

6218: fix typo in sample test

6218: add performance profiling and a sample test in python sdk.