21943: Add test for files appearing multiple times in output
[arvados.git] / README.md
1 [comment]: # (Copyright © The Arvados Authors. All rights reserved.)
2 [comment]: # ()
3 [comment]: # (SPDX-License-Identifier: CC-BY-SA-3.0)
4
5 [![Join the chat at https://gitter.im/arvados/community](https://badges.gitter.im/arvados/community.svg)](https://gitter.im/arvados/community?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge) | [Installing Arvados](https://doc.arvados.org/install/index.html) | [Installing Client SDKs](https://doc.arvados.org/sdk/index.html) | [Report a bug](https://dev.arvados.org/projects/arvados/issues/new) | [Development and Contributing](CONTRIBUTING.md)
6
7 <img align="right" src="doc/images/dax.png" height="240px">
8
9 [Arvados](https://arvados.org) is an open source platform for
10 managing, processing, and sharing genomic and other large scientific
11 and biomedical data.  With Arvados, bioinformaticians run and scale
12 compute-intensive workflows, developers create biomedical
13 applications, and IT administrators manage large compute and storage
14 resources.
15
16 The key components of Arvados are:
17
18 * *Keep*: Keep is the Arvados storage system for managing and storing large
19 collections of files.  Keep combines content addressing and a
20 distributed storage architecture resulting in both high reliability
21 and high throughput.  Every file stored in Keep can be accurately
22 verified every time it is retrieved.  Keep supports the creation of
23 collections as a flexible way to define data sets without having to
24 re-organize or needlessly copy data. Keep works on a wide range of
25 underlying filesystems and object stores.
26
27 * *Crunch*: Crunch is the orchestration system for running [Common Workflow Language](https://www.commonwl.org) workflows. It is
28 designed to maintain data provenance and workflow
29 reproducibility. Crunch automatically tracks data inputs and outputs
30 through Keep and executes workflow processes in Docker containers.  In
31 a cloud environment, Crunch optimizes costs by scaling compute on demand.
32
33 * *Workbench*: The Workbench web application allows users to interactively access
34 Arvados functionality.  It is especially helpful for querying and
35 browsing data, visualizing provenance, and tracking the progress of
36 workflows.
37
38 * *Command Line tools*: The command line interface (CLI) provides convenient access to Arvados
39 functionality in the Arvados platform from the command line.
40
41 * *API and SDKs*: Arvados is designed to be integrated with existing infrastructure. All
42 the services in Arvados are accessed through a RESTful API.  SDKs are
43 available for Python, Go, R, Perl, Ruby, and Java.
44
45 # Quick start
46
47 To try out Arvados on your local workstation, you can use Arvbox, which
48 provides Arvados components pre-installed in a Docker container (requires
49 Docker 1.9+).  After cloning the Arvados git repository:
50
51 ```
52 $ cd arvados/tools/arvbox/bin
53 $ ./arvbox start localdemo
54 ```
55
56 In this mode you will only be able to connect to Arvbox from the same host.  To
57 configure Arvbox to be accessible over a network and for other options see
58 http://doc.arvados.org/install/arvbox.html for details.
59
60 # Documentation
61
62 Complete documentation, including the [User Guide](https://doc.arvados.org/user/index.html), [Installation documentation](https://doc.arvados.org/install/index.html), [Administrator documentation](https://doc.arvados.org/admin/index.html) and
63 [API documentation](https://doc.arvados.org/api/index.html) is available at http://doc.arvados.org/
64
65 If you wish to build the Arvados documentation from a local git clone, see
66 [doc/README.textile](doc/README.textile) for instructions.
67
68 # Community
69
70 [![Join the chat at https://gitter.im/arvados/community](https://badges.gitter.im/arvados/community.svg)](https://gitter.im/arvados/community?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge)
71
72 The [Arvados community channel](https://gitter.im/arvados/community)
73 channel at [gitter.im](https://gitter.im) is available for live
74 discussion and support.
75
76 The [Arvados developement channel](https://gitter.im/arvados/development)
77 channel at [gitter.im](https://gitter.im) is used to coordinate development.
78
79 The [Arvados user mailing list](http://lists.arvados.org/mailman/listinfo/arvados)
80 is used to announce new versions and other news.
81
82 All participants are expected to abide by the [Arvados Code of Conduct](CODE_OF_CONDUCT.md).
83
84 # Reporting bugs
85
86 [Report a bug](https://dev.arvados.org/projects/arvados/issues/new) on [dev.arvados.org](https://dev.arvados.org).
87
88 # Development and Contributing
89
90 See [CONTRIBUTING](CONTRIBUTING.md) for information about Arvados development and how to contribute to the Arvados project.
91
92 The [development road map](https://dev.arvados.org/issues/gantt?utf8=%E2%9C%93&set_filter=1&gantt=1&f%5B%5D=project_id&op%5Bproject_id%5D=%3D&v%5Bproject_id%5D%5B%5D=49&f%5B%5D=&zoom=1) outlines some of the project priorities over the next twelve months.
93
94 # Licensing
95
96 Arvados is Free Software.  See [COPYING](COPYING) for information about the open source licenses used in Arvados.