Merge pull request #2 from wtsi-hgi/feature/arv-view

Feature/arv view

Adds `arv view` subcommand

Implements `arv view` feature as in https://arvados.org/issues/7204

Refactors portions of arv_edit into separate functions so arv_view
can share them.

Adds error handling for command not found

Raises a "command not found" error if arv-* commands are not
found

Merge branch '6638-python-backport-dependencies-wip'

Closes #6638.

6638: Remove C dependencies from our Python SDK.

Now that our backports properly declare their C dependencies, they're
no longer needed here.

6638: Python backports declare all their C dependencies.

See #6638 for discussion about how these dependency lists were
generated.

Merge branch '6953-docker-image-cleaner' closes #6953

Fix import error for NodeAuthSSHKey refs #6507

6953: Add arvados-docker-cleaner instructions to compute node setup page.

Merge branch '6507-node-manager-azure' closes #6507

Merge branch 'master' into 6507-node-manager-azure

Merge branch '6997-keepstore-mem' refs #6997

6997: Fix fencepost error causing race condition in test.

6997: Add test case for (*UnixVolume)IndexTo().

Doc fix: protect against accidentally pulling in all versions of the
arvados/jobs image in versions of Docker before 1.3.

Cf. https://github.com/docker/docker/commit/82b0c3e59ca12dd87bf2a9d88a63ff66e7d29fb4

closes #7150

6997: Avoid unnecessarily inefficient dirent sorting (and a mismatch between index and store/fetch logic) by doing a custom traversal.

Write "all interfaces, any port" as ":0" (not ":") for compatibility with Go 1.5. refs #6997

6507: Change version number for libcloud fork to 0.18.1.dev1 because local tags create too much trouble.

Merge branch '6859-fix-invalid-manifests' refs #6859

6859: Find locator-like strings even if not space-delimited.

6859: Fix up module usage, mock backtick to test arv-put error handling.

Merge branch '6263-arv-gitolite' refs #6263

6263: gofmt

6263: Update doc.go: mention gitolite-shell.

6859: improve locator parsing to consider any terminating [[:xdigit:]]{32}; improve tests with more invalid locators.

Merge branch 'master' into 6859-fix-invalid-manifests

6507: Filter out "tag_" from create_kwargs.

6507: Use dependency_links to specify custom libcloud package needed for azure support.

6781: Pass tests regardless of whether an admin group exists on the test host. refs #6871

Merge branch '6781-arvados-login-sync' refs #6781

6781: Clarify "logins" vs. "get_all_logins" APIs by moving common code into render_logins_for.

6781: Do not try /get_all_logins (the new /logins route is now 2 years old).

6781: Fix scope for user-sync script in documentation.

6781: Add arvados-login-sync section to shell server install page.

6781: Add test cases and packaging support.

6781: Use env vars instead of yaml config file.

6781: Add arvados-login-sync (was update-shell-accounts.rb)

Merge branch '6940-workbench-centos-install-wip'

Closes #6940, #7053.

6940: Workbench install guide describes using Nginx with Software Collections.

Because Workbench invokes arv-get, it needs this configuration to find
arv-get in the Software Collection root.

6940: Move arvados-workbench-upgrade.sh down in install guide.

The script tries to restart Nginx, so Nginx should be set up first.
No issue #.

6859: add test that creates and salvages a collection with invalid manifest text.

Merge branch 'master' into 6859-fix-invalid-manifests

6859: script does not catch expections during salvaging; instead they are propagated resulting in exit; update tests.

Fix up additional places in keepproxy install docs to use example
"keep$uuid_prefix.your.domain" consistently.  refs #6918

6507: Remove unused imports, move _init_ssh_key() into base, set hostname tag on sync_node(), tweak tests.

Merge branch 'master' into 6859-fix-invalid-manifests

6263: Split git-specific stuff into git_handler.go, add tests for new env vars.

Merge branch '6918-remove-nginx-cors-headers' closes #6918

6918: Further clean up recommended nginx proxy configuration.

6918: Fix server_name in example nginx config.  Remove client_body_buffer_size.

Merge branch '6941-docs-fix-www-data' closes #6941

6941: Add note about needing to fill in correct web server user in places where
www-data was used before.

arv-tag respects more valid ARVADOS_API_HOST_INSECURE values.

This makes it more consistent with other tools, including `arv`
itself.  No issue #.

closes #6640
Merge branch '6640-all-projects-dup'

Merge branch 'master' into 6640-all-projects-dup

Merge branch '6942-improve-compute-node-setup-script'

closes #6942

Merge branch 'master' into 6942-improve-compute-node-setup-script

Some more improvements based on review feedback.

closes #6942

arv-tag authenticates to the API server with OAuth2.

No issue #.

Merge branch '7012-no-docker-install-doc' closes #7012

6918: Update documentation to remove CORS headers from sample nginx
configuration.  Add sample ssl_, proxy_ and client_ settings as well.

closes #7010
Merge branch '7010-git-version'

Merge branch 'master' into 7010-git-version

7010: trimmed version git version note.

7012: Remove Docker install from _config.yml as well.

7012: Rewrite introduction page to remove links to Docker install and clarify
description of the manual installation method.

6507: Fix test

6507: Use get_image() instead of list_images() for image lookup.

Improve compute node setup script.

closes #6942

7010: add note in install guides that we need git version 1.7.10 or later.

6263: Set flag to skip gitolite permission checks, and set SERVER_ADDR so gitolite doesn't complain.

6263: Pass through environment variables needed by gitolite-shell.

6640: Fix whitespace, remove excess end tag.

6640: Replace paging test with all_projects bugfix test.

6859: Always raise an exception on errors during salvaging. Catch any such exceptions in the script and exit. Update test accordingly.

6640: dup all_projects when reusing it for find_objects_for_index, to
avoid infecting the projects dropdown menu with this request's filter
params.

Merge branch 'master' into 6859-fix-invalid-manifests

refs #6640
Merge branch '6640-projects-menu'

6640: Show only My Projects in dropdowns: use search modal for shared projects.

6507: Fix tests

6507: Set hostname tag in arvados_create_kwargs instead of sync_node.

6507: Paste in command line for creating service principals instead of just
referencing generic documentation.

6507: Added notes to sample azure configuration file

6507: Add basic azure driver tests.

closes #6862
Merge branch '6862-git-doc-guide-new'

closes #6652
Merge branch '6652-test-system-menu'

6652: Added assertion and changed assertion to use assert_text instead
of page.has_text?.

Merge branch 'master' into 6652-test-system-menu

Create, destroy, tag nodes.

6862: Fixed typos and syntax in git-arvados-guide

6862: Moved clone arvados repository from tutorial-submit-job to git-arvados-guide, fixed some headers to include Arvados repository

6862: Added a quick guide to git, from git clone to git push.

6095: Brown paper bag fix the last commit.

I swear I tried to test before I pushed, but I used --no-recursive,
which meant we never got to this code.  That also explains why we
didn't catch the lack of recursion earlier.  Apologies.  Refs #6095.

6859: mocking Kernel system method had the undersirable side effect of impacting any and all invocations of this method resulting in failures in other tests. Hence, refactored the arv-put invocation into a separate method and mocked this instead in the test. All tests pass now.

Merge branch 'master' into 6859-fix-invalid-manifests

6095: Stop demoting OrderedDicts to dicts in arv-copy.

History: first there was 79564b0ac7d03327cc351bbd6df544ab1f776380.
This preserved the order of copied pipeline templates, but that's in
part because it stopped recursing through those templates.
1b8caff3ad598744e4a0379b01fc95ca4838caa0 fixed the recursion, but then
started losing the order again.  This retains the order by ensuring we
copy OrderedDicts as OrderedDicts.

Refs #6095, #7001.

6998: Set force_ssl: false in Workbench Docker image.

This better matches the existing Docker image configuration, which
currently does not serve HTTPS at all.  Refs #6998.

6859: reset ARVADOS_API_HOST and ARVADOS_API_TOKEN in teardown method in test.

6859: observed that an exit from test running is captured and misinterpreted by the Kernel.exit mock method. Hence, update salvage_collection to exit with code 200, which is outside the range of special exit codes. tldp.org/LDP/abs/html/exitcodes.htmla

Merge branch 'master' into 6859-fix-invalid-manifests