doc/architecture/index.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: architecture
   4 title: "Arvados components"
   5 ...
   6
   7 {% comment %}
   8 Copyright (C) The Arvados Authors. All rights reserved.
   9
  10 SPDX-License-Identifier: CC-BY-SA-3.0
  11 {% endcomment %}
  12
  13 !(full-width){{site.baseurl}}/images/Arvados_arch.svg!
  14
  15 h3. Services
  16
  17 Located in @arvados/services@.
  18
  19 table(table table-bordered table-condensed).
  20 |_. Component|_. Description|
  21 |api|The API server is the core of Arvados.  It is backed by a Postgres database and manages information such as metadata for storage, a record of submitted compute jobs, users, groups, and associated permissions.|
  22 |arvados-git-httpd|Provides a git+http interface to Arvados-managed git repositories, with permissions and authentication based on an Arvados API token.|
  23 |arvados-dispatch-cloud|Provide elastic computing by creating and destroying cloud based virtual machines on compute demand.|
  24 |crunch-dispatch-local|Get compute requests submitted to the API server and execute them locally.|
  25 |crunch-dispatch-slurm|Get compute requests submitted to the API server and submit them to slurm.|
  26 |crunch-run|Dispatched by crunch-dispatch, executes a single compute run: setting up a Docker container, running it, and collecting the output.|
  27 |dockercleaner|Daemon for cleaning up Docker containers and images.|
  28 |fuse|Filesystem in USErspace (FUSE) filesystem driver for Keep.|
  29 |health|Health check proxy, contacts configured Arvados services at their health check endpoints and reports results.|
  30 |keep-balance|Perform storage utilization reporting, optimization and garbage collection.  Moves data blocks to their optimum location, ensures correct replication and storage class, and trashes unreferenced blocks.|
  31 |keepproxy|Provides low-level access to keepstore services (block-level data access) for clients outside the internal (private) network.|
  32 |keepstore|Provides access to underlying storage (filesystem or object storage such as Amazon S3 or Azure Blob) with Arvados permissions.|
  33 |keep-web|Provides high-level WebDAV access to collections (file-level data access).|
  34 |login-sync|Synchronize virtual machine users with Arvados users and permissions.|
  35 |arvados-ws|Publishes API server change events over websockets.|
  36 |workbench|Web application providing user interface to Arvados services.|
  37
  38 h3. Tools
  39
  40 The @arv@ command is located in @arvados/sdk/ruby@, the @arv-*@ tools are located in @arvados/sdk/python@, the rest are located in @arvados/tools@.
  41
  42 table(table table-bordered table-condensed).
  43 |_. Component|_. Description |
  44 |arv|Provides command line access to API, also provides some purpose utilities.|
  45 |arv-copy|Copy a collection from one cluster to another|
  46 |arv-get|Get files from a collection.|
  47 |arv-keepdocker|Upload Docker images from local Docker daemon to Keep.|
  48 |arv-ls|List files in a collection|
  49 |arv-migrate-docker19|Migrate Docker images in Keep from v1 format (Docker 1.9 or earlier) to v2 format (Docker 1.10 or later)|
  50 |arv-normalize|Read manifest text on stdin and produce normalized manifest text on stdout.|
  51 |arv-put|Upload files to a collection.|
  52 |arv-ws|Print events from Arvados websocket event source.|
  53 |arvbash|Helpful @bash@ macros for using Arvados at the command line.|
  54 |arvbox|Dockerized Arvados environment for development and testing.|
  55 |crunchstat-summary|Read execution metrics (cpu %, ram, network, etc) collected from a compute container and produce a report.|
  56 |keep-block-check|Given a list of keep block locators, check that each block exists on one of the configured keepstore servers and verify the block hash.|
  57 |keep-exercise|Benchmarking tool to test throughput and reliability of keepstores under various usage patterns.|
  58 |keep-rsync|Get lists of blocks from two clusters, copy blocks which exist on source cluster but are missing from destination cluster.|
  59 |sync-groups|Take a CSV file listing with (group, user, permission) records and synchronize membership in Arvados groups.|