doc/user/tutorials/intro-crunch.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: Introduction to Crunch
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 The Arvados "Crunch" framework is designed to support processing very large data batches (gigabytes to terabytes) efficiently, and provides the following benefits:
  13 * Increase concurrency by running tasks asynchronously, using many CPUs and network interfaces at once (especially beneficial for CPU-bound and I/O-bound tasks respectively).
  14 * Track inputs, outputs, and settings so you can verify that the inputs, settings, and sequence of programs you used to arrive at an output is really what you think it was.
  15 * Ensure that your programs and workflows are repeatable with different versions of your code, OS updates, etc.
  16 * Interrupt and resume long-running jobs consisting of many short tasks.
  17 * Maintain timing statistics automatically, so they're there when you want them.
  18
  19 h2. Prerequisites
  20
  21 To get the most value out of this section, you should be comfortable with the following:
  22
  23 # Using a secure shell client such as SSH or PuTTY to log on to a remote server
  24 # Using the Unix command line shell, Bash
  25 # Viewing and editing files using a unix text editor such as vi, Emacs, or nano
  26 # Programming in Python
  27 # Revision control using Git
  28
  29 We also recommend you read the "Arvados Platform Overview":https://dev.arvados.org/projects/arvados/wiki#Platform-Overview for an introduction and background information about Arvados.