Merge branch '5562-pycurl-upload' closes #5562

Merge branch '5834-api-max-response-size-wip'

Closes #5834, #5871.

5834: Limit how much manifest text data API server will load for index.

This prevents situations where clients cause the API server to balloon
in memory use by requesting an index including many large manifest
texts.  Data Manager has been doing this unwittingly lately.

closes #4458
Merge branch '4458-breadcrumbs-in-small-screens'

Merge branch 'master' into 4458-breadcrumbs-in-small-screens

closes #5843
Merge branch '5843-subproject-deletion-owner-name-constraint'

Merge branch 'master' into 5843-subproject-deletion-owner-name-constraint

5562: keepstub sends "100 Continue" to client.  Fix test_write_three_replicas
to return a valid response body instead of None.

run-command list correct directory to be uploaded when $(task.cwd) != $(task.outdir)
no issue #

5562: Use cStringIO module which is more efficient than StringIO.

5562: Add comment about UPLOAD

5562: Add support for "Expect: 100-Continue" flow for PUT.

This tells cURL to wait for a "go ahead" from the Keep server (in the form of a
HTTP/1.1 "100 Continue" response) instead of sending the request body
immediately.  This allows the server to reject the request if the request is
invalid or the server is read-only, without waiting for the client to send the
entire block.

Uses pycurl.UPLOAD to enable the 'PUT' and 'Expect: 100-continue" behavior.
Use INFILESIZE to sent Content-Length and use READFUNCTION to actually spool
the data.

Merge branch '3145-missing-content-length-error' closes #3145

Merge branch '5856-read-exact' closes #5856

5856: Tweak tests.  Fix typo.

4458: breadcrumbs now visible in small window sizes; also, use user icon instead of email for my account menu.

Return error if Content-Length header is missing instead of panicing.

ArvadosFileReader object always tries to return the exact amount of data asked for.

This is to avoid breaking stuff like gzip that assumes it always gets the exact
amount of data unless EOF.  (From the Python file docs for read(): Note that
this method may call the underlying C function fread() more than once in an
effort to acquire as close to size bytes as possible.) closes #5856

Merge branch '5562-pycurl' refs #5562

5562: Use static method. Fix "TypeError: _socket_open() takes exactly 5 arguments (4 given)".

5843: rename objects that contain xx_owner_uuid_name_unique constraint when they are removed from a subproject and the home project already has another object of the same type and name.

Merge branch '3145-close-early' closes #3145

Merge branch '5836-remote-api-server-errors-made-obvious' closes #5836

5562: Use WRITEFUNCTION instead of WRITEDATA for compatibility with older pycurl. refs #5562

3145: Respond to PUT without reading request body if no volumes are writable.

Merge branch '5562-pycurl' closes #5562

5562: Return UA to pool if it worked well enough to get an HTTP status.

5562: Enable TCP Keepalive for Keep requests. refs #5822

Renamed RemoteApiServerError to APIServerError and NewRemoteApiServerError to newAPIServerError.
Reworked error messages to feature error details more prominently.

These changes were requested by code review at
https://github.com/curoverse/arvados/pull/17/files

closes #5826
Merge branch '5826-unreadable-inputs-error'

5826: use present? instead of !empty?

5562: Add fake keepstore server with configurable problems.

5562: Use pycurl library (instead of requests) for Keep transactions.

Added tests to confirm that error messages indicate that error is remote.
Fixed punctuation.

Rewrote ArvadosApiError as RemoteApiServerError:
* Name change to indicate that it's a remote error, not a local one.
* Rewrote Error() method to explicitly state that the error is remote and list all fields.
* Added server address field and use it in error response.
* Error details are now kept as a string slice rather than as a delimited string.

Some cleanup and gofmt import shuffling.

5826: revert the previous update that checked if readable only for pdh or uuid;
instead check as long as a collection datatype is presented with a non-empty string.

closes #5622
Merge branch '5622-fix-timeout-pdh-page'

5622: when there are too many collections matching a pdh, show only 20 of them.

Check if cache slot is not None before trying to test the read flag.  refs #5831

Merge branch '5739-no-sqlite3' closes #5739

closes #5826
closes #5827
Merge branch '5826-unreadable-inputs-error'

5827: check readable only attrvalue is a string

Merge branch '5490-crunch-tighten-job-reuse-wip'

Closes #3341, #5388, #5490, #5688, #5784.

5490: Require exact matches in API server's default job reuse filters.

The previous default filters would reuse jobs that used any Docker
image with the matching name, and/or Arvados SDK version since the
named commit.  User feedback indicates this is surprising, and they
would prefer to have behavior more like the handling around
script_version: only reuse jobs that have the latest version of a
symbolic name, or the exact specified hash.

5490: Test API server finds Docker images with hash names.

This is in the same spirit as the previous, analogous commit for git
branches.

5490: Test API server handling of git hash-like branch names.

If you have a branch that looks like a commit hash, different git subcommands do different things.  After extended discussion on IRC, we've decided we'd like the rules to be:

* If a 40-character hex string references a commit, resolve it to that
  commit.
* In other cases of ambiguity, prefer branch names over short commit
  hashes.

Fortunately, this corresponds to the behavior of `git rev-list` and
our existing implementation.  This commit codifies our desired
behavior with tests.

5490: Clean up API server previous job fixtures.

* Every fixture that specified an arvados_sdk_version constraint
  should also specify a docker_image constraint, to better match
  reality.

* Use the same Docker image name in link and previous job fixture
  constraints.

5490: Refactor API server job_reuse_controller_test.

Teach the convenience methods to start from any fixture job as a basis
for submitting new ones and comparing.

5826: check readable only when it is a data collection pdf or uuid.

Merge branch '5554-delete-job-log-rows-wip'

Closes #5554, #5798.

5554: Workbench links finished job logs from pipeline instance log tab.

This is an affordance to help users find logs after they're removed
from the API server's logs table.  The display is not very great.
We're punting improvements until Workbench generally has better
capabilities to display large logs.

The layout change necessitated updates to the anonymous access tests.
While I was in there, I strengthened the assertions by putting
assertions that check a particular element has loaded before asserting
the nonexistence of other elements.  This revealed the JavaScript
issue mentioned in the new comment: the old version of the test was
doing a single `assert_no_text` after clicking a job's log tab, which
only confirmed that we navigated away.  We already test that the log
tab exists and is not disabled in this case, so I consider that
sufficient for now.

5554: Clean up erroneous fixture pipeline state.

5554: Add Rake task to delete old job log records.

closes #5780
Merge branch '5780-sharing-popup-message'

Merge branch 'master' into 5780-sharing-popup-message

5739: Remove unnecessary sqlite3 dependency.

run_test_server doesn't assume ARVADOS_API_TOKEN is set.

This makes it slightly more feasible to run this script (and by
extension tests for individual components like Workbench) outside
run-tests.sh.  No issue #.

Fix typo. No issue #

closes #5796
Merge branch '5796-collection-search-index'

5796: add down migration

5796: omit file_names column from collections search index.

5416: Test with HEAD in current tree, not master: jenkins index has no 

Improve logging in test suite.

refs #5416

5780: Display message in chooser popup if one is provided. Use this to show a message in sharing popup
explaining to user that only those users or groups that the user is allowed to access are displayed.

Merge branch '5416-browse-repo-tree' refs #5416

closes #5663
Merge branch '5663-doc-rake-secret'

Merge branch 'master' into 5663-doc-rake-secret

closes #5783

5783: add type="button" for Cancel button in add ssh key popup.

Merge branch 'master' into 5663-doc-rake-secret

closes #5675
Merge branch '5675-project-subprojects-in-anonymous-view'

Merge branch 'master' into 5663-doc-rake-secret

Merge branch 'master' into 5675-project-subprojects-in-anonymous-view

refs #5179 : gem version in workbench

closes #5179
Merge branch '5179-dirs-in-filenames'

5179: one more test with multilevel manifest text

Merge branch 'master' into 5179-dirs-in-filenames

5416: Fix protected method that should have been public.

5416: Use foo:bar@host:port/ instead of credential helper.

5416: Remove second trailing slash in breadcrumbs link.

5416: Disable repository browsing (and skip tests) if git version is suspected unreliable.

5416: Add read-only clone_urls attribute to Repository resources, deprecate push_url and fetch_url, tidy up config settings.

5416: Do not override git urls for remote hosted repos.

5416: Run arv-git-httpd and nginx ssl proxy in test suite.

5416: Browse git repository contents in workbench.

5416: Fix comment.

Revert errant change in f8e6cb3. refs #3126

Docker: fix the build of the sso docker container.

No issue #

Merge branch '3126-remote-git-url' closes #3126

3126: Skip some unnecessary db resets.

3126: Use localhost to simulate API failures. reset_application_config in teardown
nstead of setup. Remove superfluous cleanup.

3126: Handle "no local repository" case better.

3126: Delete git cache dir in test teardown. Remove no-op test.

3126: Fix test. Avoid excess "git init" by probing with "git branch" first.

3126: Always act as current_user in Commit.find_commit_range.

3126: Do not try to do anything with job.repository in crunch-dispatch if the commit is already in internal.git.

3126: Update API docs.

3126: Accept remote http/https/git url as repository attr in jobs.create/save.

closes #5573
Merge branch '5573-user-activity-page-performance'

Merge branch 'master' into 5573-user-activity-page-performance

closes #5753
Merge branch '5753-job-name-column-in-project-page'

Merge branch 'master' into 5753-job-name-column-in-project-page