17165: Update training after going back over it step-by-step
[arvados.git] / doc / architecture / index.html.textile.liquid
1 ---
2 layout: default
3 navsection: architecture
4 title: "Arvados components"
5 ...
6
7 {% comment %}
8 Copyright (C) The Arvados Authors. All rights reserved.
9
10 SPDX-License-Identifier: CC-BY-SA-3.0
11 {% endcomment %}
12
13 !(full-width){{site.baseurl}}/images/Arvados_arch.svg!
14
15 h3. Services
16
17 Located in @arvados/services@ except for Workbench which is located in @arvados/apps/workbench@.
18
19 table(table table-bordered table-condensed).
20 |_. Component|_. Description|
21 |api|The API server is the core of Arvados.  It is backed by a Postgres database and manages information such as metadata for storage, a record of submitted compute jobs, users, groups, and associated permissions.|
22 |arv-git-httpd|Provides a git+http interface to Arvados-managed git repositories, with permissions and authentication based on an Arvados API token.|
23 |arvados-dispatch-cloud|Provide elastic computing by creating and destroying cloud based virtual machines on compute demand.|
24 |crunch-dispatch-local|Get compute requests submitted to the API server and execute them locally.|
25 |crunch-dispatch-slurm|Get compute requests submitted to the API server and submit them to slurm.|
26 |crunch-run|Dispatched by crunch-dispatch, executes a single compute run: setting up a Docker container, running it, and collecting the output.|
27 |dockercleaner|Daemon for cleaning up Docker containers and images.|
28 |fuse|Filesystem in USErspace (FUSE) filesystem driver for Keep.|
29 |health|Health check proxy, contacts configured Arvados services at their health check endpoints and reports results.|
30 |keep-balance|Perform storage utilization reporting, optimization and garbage collection.  Moves data blocks to their optimum location, ensures correct replication and storage class, and trashes unreferenced blocks.|
31 |keepproxy|Provides low-level access to keepstore services (block-level data access) for clients outside the internal (private) network.|
32 |keepstore|Provides access to underlying storage (filesystem or object storage such as Amazon S3 or Azure Blob) with Arvados permissions.|
33 |keep-web|Provides high-level WebDAV access to collections (file-level data access).|
34 |login-sync|Synchronize virtual machine users with Arvados users and permissions.|
35 |arvados-ws|Publishes API server change events over websockets.|
36 |workbench|Web application providing user interface to Arvados services.|
37
38 h3. Tools
39
40 The @arv@ command is located in @arvados/sdk/ruby@, the @arv-*@ tools are located in @arvados/sdk/python@, the rest are located in @arvados/tools@.
41
42 table(table table-bordered table-condensed).
43 |_. Component|_. Description |
44 |arv|Provides command line access to API, also provides some purpose utilities.|
45 |arv-copy|Copy a collection from one cluster to another|
46 |arv-get|Get files from a collection.|
47 |arv-keepdocker|Upload Docker images from local Docker daemon to Keep.|
48 |arv-ls|List files in a collection|
49 |arv-migrate-docker19|Migrate Docker images in Keep from v1 format (Docker 1.9 or earlier) to v2 format (Docker 1.10 or later)|
50 |arv-normalize|Read manifest text on stdin and produce normalized manifest text on stdout.|
51 |arv-put|Upload files to a collection.|
52 |arv-ws|Print events from Arvados websocket event source.|
53 |arvbash|Helpful @bash@ macros for using Arvados at the command line.|
54 |arvbox|Dockerized Arvados environment for development and testing.|
55 |crunchstat-summary|Read execution metrics (cpu %, ram, network, etc) collected from a compute container and produce a report.|
56 |keep-block-check|Given a list of keep block locators, check that each block exists on one of the configured keepstore servers and verify the block hash.|
57 |keep-exercise|Benchmarking tool to test throughput and reliability of keepstores under various usage patterns.|
58 |keep-rsync|Get lists of blocks from two clusters, copy blocks which exist on source cluster but are missing from destination cluster.|
59 |sync-groups|Take a CSV file listing with (group, user, permission) records and synchronize membership in Arvados groups.|