5736: Node Manager cleans node records after shutting down a paired node.

This is an easy case to handle, and helps avoid exhausting SLURM
slot numbers.

5736: Fix typo in Node Manager test comments.

closes #3454
Merge branch '3454-default-docker-image'

Merge branch '3198-inode-cache' refs #3198

Merge branch 'master' into 3454-default-docker-image

3198: Fix Operation(inode_cache) init.  Break up tests into a few smaller
tests.  Added comment about how collection size is calculated.

refs #5682 : update arvados gem version

closes #5682
Merge branch '5682-download-file-error'

Merge branch 'master' into 5682-download-file-error

closes #4467
Merge branch '4467-project-contents-select-all'

Fix install instructions: create arvados repository.

closes #5988

Merge branch '5748-max-buffers' refs #5748

5748: Update keepstore install docs (-max-buffers, -blob-signing-key).

5748: Log clock time for each request.

For successful responses, log the standard HTTP status text for the
response code (instead of logging "OK" for any status<400).

5748: Check for errors when writing pidfile. Keep it locked while running.

* Handle SIGINT (the same way as SIGTERM)

* Improve startup/shutdown logs

5748: Return the real decoder error for unparseable trash and pull requests.

5748: Use a buffer pool instead of calling runtime.GC() during each GET.

Merge branch '4882-no-host-when-container' closes #4882

4882: If -cgroup-cid flag is given, only read container stats. If not given, only read host stats.

5682: update workbench arvados gem version

5682: move logic to check if '/' in filename into each_file_spec method from files method so that it is applied in all contexts using the each_file_spec method.

3198: Add --file-cache and --directory-cache to arv-mount to specify desired
cache limits.

3198: Inodes() and Operations() take InodeCache() object directly.  Minimum
number of entries to retain is configurable.  Added unit test of inode cache.

4467: Move select_all_items and unselect_all_items methods into selection.js

Merge branch 'master' into 4467-project-contents-select-all

3454: use configured default docker image when none found in a job's runtime_constraints.

Merge branch '5745-serialize-content-only' closes #5745

5745: Fix test order dependency (restore mocked methods), tidy up test data.

5745: Serialize writes and data reads, but allow concurrent requests
to do read-only non-data operations (like finding existing blocks and
checking free disk space) which are likely to be cached by the OS and
therefore not involve any disk activity.

Also:
* Serialize Touch and Delete.
* Make sure to close and delete tempfiles on write errors.
* Update comments.

Merge branch '5523-stats-error' closes #5523

Fix docker image build for SSO server after refactoring work in #5829.

refs #5829

refs #5493: Merge branch '5493-fix-yellow-gif'

5493: fix yellow gif

Merge branch '5748-keepstore-leak' refs #5748

5748: Clean up comments and variable names.

5748: Write index data to http.ResponseWriter, instead of using string
concatenation to buffer the entire response.

Merge branch '5842-node-manager-tighten-successful-boot-criteria-wip'

Closes #5842, #5931.

5842: Node Manager only considers nodes busy if they're working.

Previously, Node Manager considered any non-idle node as busy,
including down nodes.  This causes it to boot replacements for nodes
that are marked "down," even if that's because they're still
bootstrapping.  Tighten the busy criteria to avoid booting excess
nodes.

It's easier to make this change now that Node Manager checks that
nodes have a functional Crunch worker state to be considered a
successful bootstrap.  This means that any node that's down later is
in an unexpected state, and we should avoid messing with it.

5842: Node Manager shuts down booted nodes if they can't do compute work.

If a booted node is not able to do work (it's not idle or busy),
consider that a bootstrapping failure and shut it down, just like a
failure to pair with an Arvados node.

Merge branch '5926-parameterize-max-slots'

closes #5926

Improve comment in application.default.yml based on review feedback.

refs #5926

Make MAX_SLOTS a configurable parameter, and rename it to max_compute_nodes.

refs #5926

5523: Say "notice" instead of "error" when stats file changes/appears/disappears.

4467: add test for "Select all" and "Unselect all" buttions in project tabs.

4467: add "select all" and "unselect all" buttons to project contents.

closes #5735
Merge branch '5735-edit-description-box-size'

5735: move tiptitle into nonhtml_options

Merge branch 'master' into 5735-edit-description-box-size

5735: add comment

5735: add a new nonhtml_options parameter to render_editable_attribute method,
which can be used to pass any non data-* custom attributes that are useful in
customizing the rendering of the editable attribute.

5735: use data- for button text and button class custom attributes.

5735: exclude btn* attributes from span tag.

Merge branch '5724-blob-signature-ttl' closes #5724

Merge branch 'master' into 5735-edit-description-box-size

5735: use the inline css for description only so that any future inline css declarations are not impacted with this.

Merge branch '5752-arv-copy-preserve-docker-timestamps-wip'

Closes #5752, #5881.

5752: arv-copy preserves properties of docker_image links.

The properties include the image_timestamp, which tells Arvados when
the source image was created, rather than the containing collection.
The API server uses this information to determine which image is
newest.

Merge branch 'master' into 5735-edit-description-box-size

Merge branch '5787-run-command-checkin' refs #5787

5787: Change caught_error to last_error in vwd.py to return last exception that was caught.  Fix typo.

Merge branch '5893-helper-stdin' closes #5893

Merge branch '5724-blob-signature-ttl' commit '6fc44a6' refs #5724

5724: Update reference to keepstore flag, now -blob-signature-ttl.

Merge branch '5562-pycurl-upload' closes #5562

5893: Remove "disable repo browsing with git2" stuff.

git2 is no longer unreliable, now that we know the silent failures
meant "git credential helpers must consume their stdin".

5893: Use git credential helpers for arv-git-httpd tests. Fix workbench helper.

The sporadic "git exited 128" errors -- very common in git2 and rare
in git1 -- seem to have been caused by git getting SIGPIPE when the
credential helper exited without consuming stdin. The solution is for
the credential helper to discard its standard input before exiting.

5893: gofmt fixes. Fix some logs to print as strings, not byte arrays.

5893: Add realm="git" to WWW-Authenticate header, cf. rfc2617

5787: Fix syntax error

5787: Error writing output will cause task to fail.  Tweak documentation page.

Merge branch '5834-api-max-response-size-wip'

Closes #5834, #5871.

5834: Limit how much manifest text data API server will load for index.

This prevents situations where clients cause the API server to balloon
in memory use by requesting an index including many large manifest
texts.  Data Manager has been doing this unwittingly lately.

5735: use inline editing for project description x-editable textarea.

5787: Write files that are pointed to by symlinks that are outside of Keep.
Catch exceptions.  Update documentation.

closes #4458
Merge branch '4458-breadcrumbs-in-small-screens'

Merge branch 'master' into 4458-breadcrumbs-in-small-screens

5787: Copy to the right destination name, add docstring, fix syntax errors

5787: run-command uploading uses new collection API and supports symlinks into Keep

closes #5843
Merge branch '5843-subproject-deletion-owner-name-constraint'

Merge branch 'master' into 5843-subproject-deletion-owner-name-constraint

5724: gofmt fixes.

5724: Rename -permission-* flags to -blob-sign* to match apiserver. Tidy up some time-related code.

5724: Add blobSignatureTtl to discovery doc. Add config comment/explanation.

5562: keepstub sends "100 Continue" to client.  Fix test_write_three_replicas
to return a valid response body instead of None.

run-command list correct directory to be uploaded when $(task.cwd) != $(task.outdir)
no issue #

5562: Use cStringIO module which is more efficient than StringIO.

5562: Add comment about UPLOAD

5562: Add support for "Expect: 100-Continue" flow for PUT.

This tells cURL to wait for a "go ahead" from the Keep server (in the form of a
HTTP/1.1 "100 Continue" response) instead of sending the request body
immediately.  This allows the server to reject the request if the request is
invalid or the server is read-only, without waiting for the client to send the
entire block.

Uses pycurl.UPLOAD to enable the 'PUT' and 'Expect: 100-continue" behavior.
Use INFILESIZE to sent Content-Length and use READFUNCTION to actually spool
the data.

Merge branch '3145-missing-content-length-error' closes #3145

Merge branch '5856-read-exact' closes #5856

5856: Tweak tests.  Fix typo.

4458: breadcrumbs now visible in small window sizes; also, use user icon instead of email for my account menu.

Return error if Content-Length header is missing instead of panicing.

ArvadosFileReader object always tries to return the exact amount of data asked for.

This is to avoid breaking stuff like gzip that assumes it always gets the exact
amount of data unless EOF.  (From the Python file docs for read(): Note that
this method may call the underlying C function fread() more than once in an
effort to acquire as close to size bytes as possible.) closes #5856

Merge branch '5562-pycurl' refs #5562

5562: Use static method. Fix "TypeError: _socket_open() takes exactly 5 arguments (4 given)".

5843: rename objects that contain xx_owner_uuid_name_unique constraint when they are removed from a subproject and the home project already has another object of the same type and name.

Merge branch '3145-close-early' closes #3145

Merge branch '5836-remote-api-server-errors-made-obvious' closes #5836

5562: Use WRITEFUNCTION instead of WRITEDATA for compatibility with older pycurl. refs #5562