doc/architecture/index.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: architecture
   4 title: "Arvados components"
   5 ...
   6
   7 {% comment %}
   8 Copyright (C) The Arvados Authors. All rights reserved.
   9
  10 SPDX-License-Identifier: CC-BY-SA-3.0
  11 {% endcomment %}
  12
  13 # "Services":#Services
  14 # "Tools":#Tools
  15 # "Arvados-client":#Arvados-client
  16
  17 !(full-width){{site.baseurl}}/images/Arvados_arch.svg!
  18
  19 h3(#Services). Services
  20
  21 Located in @arvados/services@.
  22
  23 table(table table-bordered table-condensed).
  24 |_. Component|_. Description|
  25 |api|The API server is the core of Arvados.  It is backed by a Postgres database and manages information such as metadata for storage, a record of submitted compute jobs, users, groups, and associated permissions.|
  26 |arvados-dispatch-cloud|Provide elastic computing by creating and destroying cloud based virtual machines on compute demand.|
  27 |crunch-dispatch-local|Get compute requests submitted to the API server and execute them locally.|
  28 |crunch-dispatch-slurm|Get compute requests submitted to the API server and submit them to slurm.|
  29 |crunch-run|Dispatched by crunch-dispatch, executes a single compute run: setting up a Docker container, running it, and collecting the output.|
  30 |dockercleaner|Daemon for cleaning up Docker containers and images.|
  31 |fuse|Filesystem in Userspace (FUSE) enabling users to mount Keep collections as a filesystem.|
  32 |keep-balance|Perform storage utilization reporting, optimization and garbage collection.  Moves data blocks to their optimum location, ensures correct replication and storage class, and trashes unreferenced blocks.|
  33 |keepproxy|Provides low-level access to keepstore services (block-level data access) for clients outside the internal (private) network.|
  34 |keepstore|Provides access to underlying storage (filesystem or object storage such as Amazon S3 or Azure Blob) with Arvados permissions.|
  35 |keep-web|Provides high-level WebDAV access to collections (file-level data access).|
  36 |login-sync|Synchronize virtual machine users with Arvados users and permissions.|
  37 |workbench2|Web application providing user interface to Arvados services.|
  38 |ws|Publishes API server change events over websockets.|
  39
  40 h3(#Tools). Tools
  41
  42 The @arv@ command is located in @arvados/sdk/ruby@, the @arv-*@ tools are located in @arvados/sdk/python@, the rest are located in @arvados/tools@.
  43
  44 table(table table-bordered table-condensed).
  45 |_. Component|_. Description |
  46 |arv|Provides command line access to API, also provides some purpose utilities.|
  47 |arv-copy|Copy a collection from one cluster to another|
  48 |arv-get|Get files from a collection.|
  49 |arv-keepdocker|Upload Docker images from local Docker daemon to Keep.|
  50 |arv-ls|List files in a collection|
  51 |arv-put|Upload files to a collection.|
  52 |arv-ws|Print events from Arvados websocket event source.|
  53 |arvbash|Helpful @bash@ macros for using Arvados at the command line.|
  54 |arvbox|Dockerized Arvados environment for development and testing.|
  55 |cluster-activity|Generate a HTML and/or CSV report of cluster activity over a time period.|
  56 |crunchstat-summary|Read execution metrics (cpu %, ram, network, etc) collected from a compute container and produce a report.|
  57 |keep-block-check|Given a list of keep block locators, check that each block exists on one of the configured keepstore servers and verify the block hash.|
  58 |keep-exercise|Benchmarking tool to test throughput and reliability of keepstores under various usage patterns.|
  59 |keep-rsync|Get lists of blocks from two clusters, copy blocks which exist on source cluster but are missing from destination cluster.|
  60 |sync-groups|Takes a CSV file listing with rows in the form (group, user, permission) records and synchronize membership in Arvados groups.|
  61 |sync-users|Takes a CSV file listing with rows in the form (email, first name, last name, active, admin) and synchronize Arvados users.|
  62 |user-activity|Generate a text report of user activity over a time period.|
  63
  64 h3. Arvados-client
  65
  66 Located in @cmd/arvados-client@.  It consists of a single @arvados-client@ binary with a number of different subcommands.
  67
  68 table(table table-bordered table-condensed).
  69 |_. Subcommand|_. Description |
  70 |connect-ssh|Connects stdin/stdout to a container's gateway server. It is intended to be invoked with OpenSSH client's ProxyCommand config.|
  71 |deduplication-report|This program analyzes the overlap in blocks used by 2 or more collections. It prints a deduplication report that shows the nominal space used by the collections, as well as the actual size and the amount of space that is saved by Keep's deduplication.|
  72 |diagnostics|Perform cluster diagnostics to check that all the services are available and responding normally to requests.|
  73 |logs|Prints live streaming logs for a container.|
  74 |mount|Alternate Keep FUSE mount written in Go.|
  75 |shell|Connects the terminal to an interactive shell on a running container.|
  76 |sudo|Runs another command using API connection info and SystemRootToken from the system config file instead of the caller's environment vars.|