Merge branch 'master' into 3583-provenance-graph-issue

Merge branch 'master' into 4046-job-queue-position

4046: update queue_position method to increment index and add unit test.

3775: Recognize ssh short form without @ symbol. Expand comments.

Merge branch '3859-crunch-job-use-lock' closes #3859

3782: Avoid using a huge read buffer when client requests a huge range. Add test.

Merge branch 'master' into origin-3381-job-progress-bar-bug

3782: Stub IO.pipe() with StringIO instead of stubbing content with KEEP_LOCAL_STORE.

Merge branch 'master' into 3882-cancel-already-cancelled-job

3882: Change "update_timestamps_when_state_changes" from before_validation to after_validation,
so that update of success and running flags is done AFTER ensuring the state change is valid.
Otherwise, the update to success and running flags is resulting in overriding the actual state update.

3782: Restore config settings changed during tests. (copied from API server)

Merge branch '3687-grant-permission-on-repo-TC' closes #3687

3687: Merge branch 'master' into 3687-grant-permission-on-repo-TC

Merge branch '3882-cancel-already-cancelled-job-TC' into 3882-cancel-already-cancelled-job

Merge branch 'master' into 3882-cancel-already-cancelled-job

closes #4025
Merge branch '4025-move-project-button-label'

4025: Change the button label 'Move...' to 'Move <object_class>...' and update test assertion accordingly.

Merge branch 'master' into 4025-move-project-button-label

Conflicts:
apps/workbench/app/views/application/_title_and_buttons.html.erb

3882: refactor update-or-cancel code.

3882: Test response status and #cancel method.

3882: refactor tests

3882: added a few more tests for cancelled_at state. Most importantly, uncomment the assertion
to raise error when a functional test performs multiple actions in a single test (refs 3889#).

3687: Add comment about redundant lookup.

3687: OK here just means this loop is OK, not everything is OK!

Reported scanner errors, which I forgot to do before (and was hiding real problems).

Switched to using structs rather than maps to hold SDK responses and code is much easier, much less noisy parsing code.
Added warning to SDK documentation about field name capitalization.
Switched from using keep_disks to keep_services, since keep_services actually has all the server addresses.

3687: in User#can?, consider permission links with head_uuid pointing directly at the target.

Merge branch 'master' into 3882-cancel-already-cancelled-job

closes #4036
Merge branch '4036-combine-collections-in-project-issue'

3882: add test to verify a cancelled job stays cancelled on futher cancel actions.

3687: add functional test for sharing within a group

Test that two unprivileged users in the same group can share collections.

Merge branch 'master' of git.curoverse.com:arvados into 3408-production-datamanager

4042: Add dry-run mode to run-command.  Test and fix examples from documentation.

4042: First draft document complete, need to verify that examples all work.

4042: Functions defined in get_items() now moved into expand_items()

4042: Subst will raise exceptions if files/directories don't exist.

3634: If a link has the class "force-cache-reload", then on browser-back the page will be reloaded
(a modal will be shown to the user while the reload is occurring)

3634: set the response to ask the browser nicely to never cache
(even though it will use its "bfcache" anyway for many cases)

3775: Merge branch 'master' into 3775-fetch-git-repo

3775: Remove redundant log message.

3775: Clean up reporting of exit codes: say "0 with signal 2", not "512".

3775: Add TODO comments in suspicious-looking collate_output corners.

3775: Run local/dev jobs on code from arbitrary remote git repositories.

* repository is a local path X -> use local repository X or X/.git.

* repository is a git url (git://, https://, git@host:repo.git, etc)
  fetch branches, tags, and objects from the remote and use the result
  to resolve script_version to a commit sha1 and run the job.

* else -> look up the named repository in Arvados and use its
  fetch_url as a remote git url as above.

* --git-dir is given on the command line -> use that instead of
  $Job->{repository} in the above logic. (This isn't new. It ensures
  we don't go off fetching arbitrary remotes when crunch-dispatch.rb
  has already pulled the code into its own internal git repo.)

Incidental changes:

* Lose support for looking up subversion revision numbers using
  git-svn tags.

* Lose support for CRUNCH_DEFAULT_GIT_DIR environment variable. Pass
  --git-dir instead.

* Improve log messages during checkout/install phase.

4036: add comment for flash alert div

Merge branch 'master' into 4036-combine-collections-in-project-issue

3775: Remove stagnant $job_has_uuid flag. Every job has a uuid. The
only time to skip updating the job record on the server side is when
croak() happens before $Job is created/fetched.

3775: Fix syntax error 2 commits ago.

Merge branch 'master' into 3634-tab-state

4025: add fa-fw to the newly added i tag class like all other such usages.

4205: add tooltips to pipeline instance tab line buttons

Moved Keep code to its own package.
Added lots of keep code (not currently working because API server is returning hosts with empty service_host and service_port).

Created sdk util package and moved helpful methods there.

Added some code to deal with keep disks.

Created helper method to deal with iterating through list returned by SDK.

Fixed bug where error was dropped on the floor!

Merge branch 'master' into 4025-move-project-button-label

4025: add tooltips to some of the tab line buttons and also adjust the title of the "Move" button.

Added params struct for GetCollections
Added periodic logging of collections processed
Factored out logic for checking whether all available items are returned

4042: Getting started on run-command reference

3825: write log output directly to a pipe.

Added functions:
* start_output_log($logfilename)
* write_output_log($txt)
* finish_output_log()
* output_log_is_active()

Rewrote all code that referenced $local_logfile in terms of these
functions.

Merge branch '3769-throttle-logs' closes #3769

3769: Spelling fix and remove debugging puts.

4042: Start working on run-command reference page.

4042: another expand fix

4042: expand list fix

4036: correct div class

4042: add command pattern to list index

4042: fix bad keys

4042: fix bad syntax

4042: Add list index

3583: extend encode quotes logic for script parameters as well, just in case.

4042: add "extract"

4042: list handling bugfix

4042: Fix syntax error

4042: Add support for filter and group of lists

Merge branch 'master' into 3583-provenance-graph-issue

4042: task.foreach should now accept multiple parameters and generate tasks
based on the cartesian product of all input lists.

4036: update the test that combines files from within a collection to expect the new collection in current project, if applicable and writable.

3775: Merge branch 'master' into 3775-fetch-git-repo

Merge branch 'master' into 4036-combine-collections-in-project-issue

4036: when files in a collection are combined, create the new collection in the original collection's project, provided it is writable.

Merge branch 'master' into 3769-throttle-logs

Conflicts:
services/api/script/crunch-dispatch.rb

Merge branch '3052-crunch-log-stdout' closes #3052

Merge branch 'master' into 3052-crunch-log-stdout

3052: Change ruby style ruby style {:stderr => ''} to json style {stderr: ''}

Merge branch '3782-large-job-logs'

Closes #3782.

3782: fix FuseSharedTest

4036: update combine collection tests to expect the newly created collection in the right project.

Add test fixture to fix "test_cancel_someone_else's_visible_job" refs #3859

4036: improve rails flash message display to check if the message is an error.

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with \" in node value to ensure graph does not get mixed up on node labels.

Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

3769: Tweak throttle/truncate messages and application.default.yml defaults.

3769: Add rate_limit with log throttling logic.  Multiple configuration
parameters to throttle excessive logging by bytes, lines, logs table events,
and total logged output.

3782: code review feedback

* Fixed whitespace, JavaScript style in _show_log.html.erb
* Removed unused bytecount variable from file_enumerator
* Changed the new job and collection fixtures to have the job uuid match
  the uuid listed in the log.

3782: added state to job fixture

Merge branch 'master' into 3782-large-job-logs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml