Merge branch 'master' into 6219-fuse-performance-testing

Merge branch '6484-fuse-fsync-erofs' closes #6484

Merge branch 'github-3408-production-datamanager' refs #3408

Merge branch 'master' into github-3408-production-datamanager

Conflicts:
services/datamanager/keep/keep.go

Merge branch 'master' into 6219-fuse-performance-testing

closes #6014
Merge branch '6014-repo-creation-doc'

Merge branch 'master' into 6014-repo-creation-doc

API server installation doc clones arvados over the network.

Now that we've moved away from a source-based install, there isn't
necessarily a checkout anywhere on the host.  This is most likely to
work.  No issue #.

6484: Ignore filehandle flush if object is not writable.

closes #6445
Merge branch '6445-incorrect-task-runtime-calc'

6014: minor updates

6445: update the job status line also to use the job's finished_at time when task has none.

Merge branch 'master' into 6445-incorrect-task-runtime-calc

6014: Add "add new repository" page to create a tutorial repository, and update the tutorial-submit-job page to use the tutorial repository.

refs #6279
Merge branch '6279-web-shell-client'

6279: open the webshell client in a blank window.

Merge branch '6569-smarter-jobs-image'

closes #6569

Merge branch 'master' into 6569-smarter-jobs-image

Merge branch '6279-web-shell-client' closes #6279

6279: Hide "reconnect" button because it doesn't auto-login.

6279: Provide feedback that authentication token has been sent.

6279: Do not retry a request that "timed out" in less than 2 seconds.

In this case it's probably not a timeout -- more likely a CORS problem
that the browser is not allowed to report to the Javascript program.
In such cases, retrying ad infinitum will not help.

6279: Do not set content-length headers in XHR.

According to error messages in Chrome console:

Refused to set unsafe header "Content-Length"
  ShellInABox.sendRequest @ shell_in_a_box.js:178
  ShellInABox.onReadyStateChange @ shell_in_a_box.js:206
  (anonymous function) @ shell_in_a_box.js:183

6279: Move keyboard assets to /public/webshell/

Make sure to add python-virtualenv to the Docker arvados/jobs image.

refs #6569

6445: when a task does not have finished_at time, use the finished_at time from it's job - if one is available.

Merge branch '6222-memory-status' refs #6222

Merge branch 'master' into 6569-smarter-jobs-image

Merge branch '6218-python-sdk-perf' closes #6218

6218: Generate profiling data for a few arvados.collection.Collection scenarios.

Make sure that mkimage-debootstrap.sh uses -f when tagging docker
images.

refs #6528

Make sure that mkimage-debootstrap.sh does not try to do an interactive
docker run when there's no tty.

refs #6528

Make the arvados/jobs image leaner.

refs #6569

6279: Move webshell action into VirtualMachinesController, tweak formatting & config.

* Document config var

* Accept formatting references like %{hostname} and %{uuid} in config
  var instead of always appending "/#{hostname}"

* Fix favicon, js, and stylesheet paths (use asset_path helper); move
  js and css into public/webshell/

* Use j() quoting helper in js.erb

6279: added shell_in_a_box url as comment

6279: Noticed that enabled.gif is also needed. I see this one when I use the right mouse click in shell_in_a_box terminal,
and use the reset option. Added this gif.

6279: add some comments

i6279: The '-' and '_' are not working in Firefox. Upon googling, found this URL that suggested a workaround:
https://code.google.com/p/shellinabox/issues/detail?id=202

Merge branch 'master' into 6279-web-shell-client

6279: if hostname ends with .shell, strip it.

6358: Declare FUSE driver's dependency on llfuse >= 0.40.

The workaround added in 08284382 requires this version.  Below that,
llfuse's Queue at least lives in a different place.  We may be able to
support older versions with more nuance, but for now, just codify the
current reality.

Closes #6358.  Refs #3198.

qiuck fix to arvados-pam vulnerability

no issue #

Merge branch '6377-dev-startup' refs #6377

Merge branch 'master' into 6279-web-shell-client

Merge branch '6384-libpam-arvados'

closes #6384

Whitespace fixes

refs #6384

Merge branch 'master' into 6384-libpam-arvados

6384: reverting names

Rename file

refs #2256

Fix path for arvados_pam.py

refs #2256

Fix typo.

refs #2256

added /etc/default/arvados_pam as a parameter

refs #6512

Fix typo. No issue #

6377: Update docs to use application.yml instead of omniauth.rb for SSO config.

6377: Fix crash if no asset pipeline.

6377: Update ruby to 2.1.6. Remove bundler version pin (not needed since ca1d997).

6377: Avoid "incompatible encoding" errors by using blank template0 instead of site-specific template1.

6377: Fix reversed condition in "site application.yml is optional" fix.

6377: Use fork of themes_for_rails with fixed gemspec.

Allows installing with current bundler versions, which treat the invalid
gemspec as an error.

6377: Support loading omniauth config from application.yml.

Merge branch 'master' into 6279-web-shell-client

6279: add login link in VM panel of manage_account page that takes user to shell_in_a_box.

Merge branch '5989-api-all-repos-permissions-wip'

Closes #5989, #6479.

5989: API repo perms method always returns all repos.

Previously the method would not return repositories that were not
accessible to any authorized key.  This change helps deployment tools
like update-gitolite do repository setup correctly with a single API
call.

6377: Missing application.yml is not an error.

6222: Add memory stats to status.json.

Reduce malloc activity in status.json.

Remove abandoned GetVolumeStatus, and move its tests over to
volume_unix_test.go.

Add arvados_pam.py and shellinabox pam configuration file.

Refs #2256

5989: bug_1 added puppet repository patch

this is duplicated code from:

puppet/modules/arvados-git-server/templates/usr-local-arvados-update-gitolite.rb.erb

I just copy the code that was there

5989: create directory structure for temp files

refs #5989 bug_1

Merge branch '5677-plpgsql-warning' closes #5677

5677: Edit structure.sql after db:structure:dump: avoid warnings when loading, and editwars when committing.

closes #6466
Merge branch '6466-disable-public-projects'

Merge branch 'master' into 6466-disable-public-projects

Merge branch '6438-multiplatform-install-guide-wip'

Closes #6438, #6455.  Refs #6388.

6455: Include more steps in Crunch install docs.

* Document the necessary API server configuration change for
  crunch-dispatch.
* Document Docker installation.
* Note compute node crunch users need to be in the fuse group.

6438: Modernize Rails server installation guides.

Document the package-based installation procedure, and associated
Nginx configuration.

6388: Add CentOS 6.6 instructions to install docs.

6219: remove couple profiling statements for the tests.

6219: refactor functions and profile smaller fuse related blocks of code

6466 - Update body html for enable public page and added tests to project controller test.

6219: profile even smaller portions of code

closes #6013
Merge branch '6013-cleanup-setup-impl'

6013: revert back the deactivate user button leading text in workbench user admin page.

6013: update user notification email upon setup.

6013: remove "repository" from user setup popup in workbench

6466:Added config parameter to disable public projects page and added a test to projects controller.

Merge branch '5989-bug_1' merge with puppet repo "copy and paste" to sync up duplicated code.

refs #5989

5989: bug_1 added puppet repository patch

this is duplicated code from:

puppet/modules/arvados-git-server/templates/usr-local-arvados-update-gitolite.rb.erb

I just copy the code that was there

Merge branch '6264-run-command-task-env' refs #6264

6264: Add task.env to documentation.

6264: Support setting environment variables.

5989: create directory structure for temp files

refs #5989 bug_1

Invoke crunch-job with `/usr/bin/env perl`.

No issue #.

6219: add test to list contents of a project with many collections.

6219: remove unused imports

6219: add back the test with files with multiple blocks that I lost somewhere along the way.

6219: some more magic dir based testing

Merge branch '3198-writable-fuse' into 6219-fuse-performance-testing

Merge branch '3198-writable-fuse' of git.curoverse.com:arvados into 3198-writable-fuse

6219: some more magic dir based testing