Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

Merge branch '3782-stub-file-content' refs #3782

3782: Merge branch 'master' into 3782-stub-file-content

3782: Use stubbed file content for "inactive user can retrieve user agreement" test.

Merge branch '4000-rerun-pipeline-changed-template'

Closes #4000.

4000: update both functional tests.

4000: tighten up functional test

Updated the test to ensure that a copied pipeline instance actually has
the expected script_parameters from both the source instance and source
template, respectively.

Use job state field instead of running/success columns. refs #3898

3859: unit test for job state changes

3782: Merge branch 'master' into 3782-stub-file-content

3782: Remove obsolete helper method.

3859: Added AlreadyLockedError for job lock conflict.  Added runningbarbaz
fixture so test "cancel someone else's visible job" is testing the right thing.

Merge branch '4004-restore-dashboard-buttons' closes #4004

4004: Add newlines for readability

3899: Fix for counting complete/failed components refs #3899

3859: Add functional test for locking and fix tests broken by validate_state_change.

Merge branch 'master' into 3859-api-job-lock-method

4000: fix copying pipeline instances with newer templates

* When copying script parameters from a pipeline instance, check that
  the component exists in the source instance before blindly
  dereferencing it.
* Added tests for copying when components=use_latest and when
  script=use_same (the two edge cases exposed by this bug)

3859: Cleaned up validate_state_change.  Added unit test for job locking.

4004: Rename "Compute status" to "Compute and job status".  Added integration
tests for buttons.  Reduced dashboard page rendering time by at least 25% by
batching certain API server requests (previously happing per-object),

Merge branch '3961-uuid-assignment-not-permitted'

Closes #3961.

3961: fix FuseSharedTest

Added new active_user collection to the FuseSharedTest.

Merge branch '3961-uuid-assignment-not-permitted'

Closes #3961.

3961: more explicit assertions and error text

3782: Isolate file_enumerator stubbing to the current test. Introduce mocha.

3961: test creating subprojects under home with duplicate names

New tests:
* unprivileged user creating a subproject under their home project, with
  an existing name, returns 422
* unprivileged user creating a subproject under their home project, with
  an existing name, and ensure_unique_name=true, succeeds

3866: PySDK KeepClient accommodates services with IPv6 addresses.

I thought there was going to be a nicer way to construct URLs than
this, but urllib.urlunparse is still expecting the host+port as a
single string, so this approach is easier.  Closes #3866.

Merge branch '3848-egg-default-git-tag-wip'

Closes #3848, #3952.

3848: Package version numbers use UTC timestamps.

Per note-9 in the issue.

3848: Python packages build with git tag by default.

This moves the build logic that we currently encode in Jenkins into
our setup.py, and makes it easier for developers to have versions in
sync with real users.

closes #3889
Merge branch '3889-functional-testing'

3961: reset object UUID when ensure_unique_name is set

When saving an object that has to be renamed with ensure_unique_name,
force @object.uuid to nil so that validate_uuid will not be confused
into thinking we are trying to reassign the uuid.

Merge branch 'master' into 3889-functional-testing

Merge branch '3616-live-stream' closes #3616

Merge branch 'master' into 3889-functional-testing

3889: add a new integration tester for users controller. Refactor code so that users functional and integration tests can reuse some of the helper methods.

Merge branch '3871-non-ascii-project-names' closes #3871

3616: Use "ensure" to close response stream.

3871: Pass on UnicodeEncodeError.  Don't return those entries in the directory
listing because the user won't be able to access them anyway.  Add --encoding
parameter to command line to allow the user to specify desired filesystem
encoding.

Merge branch 'master' into 3889-functional-testing

Conflicts:
services/fuse/tests/test_mount.py

Merge branch '3901-component-rendering-errors'

Refs #3901.

3616: Use ActionController::Live to avoid buffering entire response in memory.

Merge branch 'master' into 3901-component-rendering-errors

Conflicts:
apps/workbench/app/helpers/pipeline_instances_helper.rb

closes #3836
Merge branch '3836-remove-collection-from-project-bug'

Merge branch 'master' into 3836-remove-collection-from-project-bug

3889: minor test assertion updates

3889: remove the job fixture "job_with_unnormalized_output_and_log" and instead use "foobar"

3901: added unit test for pipeline rendering

Merge branch 'master' into 3889-functional-testing

Conflicts:
services/api/test/fixtures/jobs.yml

3889: some monir assertion updates.

Fix typo in error message. Refs #3961

Merge branch 'master' into 3859-api-job-lock-method

Conflicts:
services/api/script/crunch-dispatch.rb

3871: Encode/decode file and directory names to UTF-8

4004: Put "All jobs/pipelines/collections" buttons back onto dashboard.  Also
tweak minimum height of top panels so they line up.

Merge branch '3899-crunch-use-job-state' closes #3899

3899: Uncomment line that was commented out for debugging and committed by mistake.

3889: add "#{user} can get collection using portable data hash" test

3899: pipeline_instances_helper: Don't set :state if it's already set.  Add newline to jobs.yml.

Merge branch '3168-crunch-git-fetch' closes #3168

Remove useless take() and untake() methods.

3168: Instead of crashing using save! log an error and go to the next job.

Merge remote-tracking branch 'origin/master' into 3899-crunch-use-job-state

3899: jobs_controller uses state = Queued instead of multiple state columns.
Updated fixture so that tests pass.

Merge branch '3991-docker-workbench-address' closes #3991

3889: update the fuse test to expect the newly added pipeline instances.

3991: Merge branch 'master' into 3991-docker-workbench-address

3168: Fail on git tag collision instead of putting job back into the queue.

3899: Set :state in pipeline_instance_helper.rb and remove Job::state.

3991: Fix config checks in admin_notifier.

Merge branch 'master' into 3889-functional-testing

3889: Since all offending tests are fixed, update test_helper to generate an error if any functional test performs more than one action in on test in the future.

3889: update the test "update script_parameters one at a time using merge param" to use fixture instead of create a new pipeline instance.

3991: Change docker default to "no root url redirect". Make "not found" message more friendly.

Merge branch 'master' into 3901-component-rendering-errors

3901: allow job to be either Hash or Job

Refactoring to ensure that a component "job" data structure may either
be a Hash (parsed directly from the component's JSON representation) or
a real Job object retrieved from the database.

When rendering a pipeline, parse the :started_at and :finished_at
timestamp fields, respectively, if necessary.

3889: add fixture "pipeline_with_tagged_collection_input"

3988: Add note to Job.state.  Replace logic to compute state based on
success/running columns with the same logic as used on apiserver.

bug fix: args_retries => args.retries

No issue #

3899: Shorten count of ended/succeed/failed in a-r-p-i with some clever Ruby.
Improve reporting to test for state == Cancelled instead of looking at
cancelled_at, and distinguish between cancelled the state being unexpectedly
changed to success/failed.  pipeline_instances_helper uses state attribute.

Merge branch 'master' into 3836-remove-collection-from-project-bug

3889: fix typo in test name

3991: Use db:structure:load and db:seed instead of db:setup: the database already exists here.

3991: Handle "no workbench_address configured" more gracefully.

* Remove example config from default production section.
* Follow config rule: false = feature disabled, nil = sysadmin error.
* Respond 404 at root url if no workbench_address is configured.
* Never redirect to workbench if client requested JSON.

3991: Run passenger script using bundle exec.

Passenger was installed in a previous step, but that was done using
"bundle install", which installs into ./vendor/bundle instead of a
system-wide install dir. This way, we install the passenger version
listed in services/api/Gemfile.lock instead of installing some other
version (or failing completely).

3991: Set workbench_address in docker config.

Setting running = false is ok for successful jobs, so take out extra exit_code == 0 check.

Merge branch 'master' into 3889-functional-testing

3889: Since all failing API server functional tests are fixed, update test_helper to fail any future tests that execute multiple acions in one single functional test.

3889: update the test "use ownership and permission links to determine which logs a user can see" to account for the newly added log fixture.

3889: split the test "get all pages of group-owned objects" into multiple tests that pull pages with offset of 5.

3901: improve component rendering error reports

The "Components" tab on the /pipeline_instances page now includes the
error that was encountered, and a collapsed panel with the full backtrace.

3859: Check crunch-job return code properly.  Restore job state change
validation.

In our docker jobs image: use our debian packages for the python sdk and
fuse driver.

No issue #

In our docker base image: do not rely on pgp.mit.edu, use
pool.sks-keyservers.net instead.

No issue #

3889: add the job fixture "job_with_unnormalized_output_and_log"

3889: split the test "normalize output and log uuids when creating job" into two tests:
1) that creates a job with unnormalized output and log and verifies that normalization happened and
2) that updates a job with unnormalized output and log (a fixture) with normalized output and log.

3889: split the test "update a job without failing script_version check" into two tests instead of two action in one test.

3889: split the test "cancel a running job" into two tests: one that cancels a running job and another that cancels an already cancelled job.