doc/install/singularity.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Singularity container runtime
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 h2(#overview). Overview
  13
  14 Arvados can be configured to use "Singularity":https://sylabs.io/singularity/ instead of Docker to execute containers on cloud nodes or a SLURM/LSF cluster. Singularity may be preferable due to its simpler installation and lack of long-running daemon process and special system users/groups.
  15
  16 *Current limitations*:
  17 * Even when using the singularity runtime, users' container images are expected to be saved in Docker format using @arv keep docker@. Arvados converts the Docker image to Singularity format (@.sif@) at runtime as needed. Specifying a @.sif@ file as an image when submitting a container request is not yet supported.
  18 * Singularity does not limit the amount of memory available in a container. Each container will have access to all memory on the host where it runs, unless memory use is restricted by SLURM/LSF.
  19 * Programs running in containers may behave differently due to differences between Singularity and Docker.
  20 ** The root (image) filesystem is read-only in a Singularity container. Programs that attempt to write outside a designated output or temporary directory are likely to fail.
  21 ** The Docker ENTRYPOINT instruction is ignored.
  22 * Arvados is tested with Singularity version 3.7.4. Other versions may not work.
  23
  24 *Notes*:
  25
  26 * Docker images are converted on the fly by @mksquashfs@, which can consume a considerable amount of RAM. The RAM usage of mksquashfs can be restricted in @/etc/singularity/singularity.conf@ with a line like @mksquashfs mem = 512M@. The amount of memory made available for mksquashfs should be configured lower than the smallest amount of memory requested by a container on the cluster to avoid the conversion being killed for using too much memory.
  27
  28 h2(#configuration). Configuration
  29
  30 To use singularity, first make sure "Singularity is installed":https://sylabs.io/guides/3.7/user-guide/quick_start.html on your cloud worker image or SLURM/LSF compute nodes as applicable. Note @squashfs-tools@ is required.
  31
  32 <notextile>
  33 <pre><code>$ <span class="userinput">singularity version</span>
  34 3.7.4
  35 $ <span class="userinput">mksquashfs -version</span>
  36 mksquashfs version 4.3-git (2014/06/09)
  37 [...]
  38 </code></pre>
  39 </notextile>
  40
  41 Then update @Containers.RuntimeEngine@ in your cluster configuration:
  42
  43 <notextile>
  44 <pre><code>      # Container runtime: "docker" (default) or "singularity"
  45       RuntimeEngine: singularity
  46 </code></pre>
  47 </notextile>
  48
  49 Restart your dispatcher (@crunch-dispatch-slurm@, @arvados-dispatch-cloud@, or @arvados-dispatch-lsf@) after updating your configuration file.