doc/install/configure-fs-storage.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Configure filesystem storage
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 Keepstore can store data in local and network-attached POSIX filesystems.
  13
  14 h2. Setting up filesystem mounts
  15
  16 Volumes are configured in the @Volumes@ section of the cluster configuration file.  You may provide multiple volumes for a single keepstore process to manage multiple disks.  Keepstore distributes blocks among volumes in round-robin fashion.
  17
  18 {% include 'assign_volume_uuid' %}
  19
  20 Note that each volume has an AccessViaHosts section indicating that (for example) keep0's /mnt/local-disk directory is volume 0, while keep1's /mnt/local-disk directory is volume 1.
  21
  22 <notextile>
  23 <pre><code>Clusters:
  24   <span class="userinput">uuid_prefix</span>:
  25     Volumes:
  26       <span class="userinput">uuid_prefix</span>-nyw5e-<span class="userinput">000000000000000</span>:
  27         AccessViaHosts:
  28           "http://<span class="userinput">keep0.uuid_prefix.example.com</span>:25107": {}
  29         Driver: Directory
  30         DriverParameters:
  31           # The directory that will be used as the backing store.
  32           Root: /mnt/local-disk
  33
  34           # When true, read and write operations (for whole 64MiB
  35           # blocks) on an individual volume will queued and issued
  36           # serially.  When false, read and write operations will be
  37           # issued concurrently.
  38           #
  39           # May improve throughput if you experience contention when
  40           # there are multiple requests to the same volume.
  41           #
  42           # When using SSDs, RAID, or a shared network filesystem, you
  43           # probably don't want this.
  44           Serialize: false
  45
  46         # How much replication is performed by the underlying
  47         # filesystem.  (for example, a network filesystem may provide
  48         # its own replication).  This is used to inform replication
  49         # decisions at the Keep layer.
  50         Replication: 1
  51
  52         # If true, do not accept write or trash operations, only
  53         # reads.
  54         ReadOnly: false
  55
  56         # Storage classes to associate with this volume.  See "Storage
  57         # classes" in the "Admin" section of doc.arvados.org.
  58         StorageClasses: null
  59
  60       <span class="userinput">uuid_prefix</span>-nyw5e-<span class="userinput">000000000000001</span>:
  61         AccessViaHosts:
  62           "http://keep1.<span class="userinput">uuid_prefix</span>.example.com:25107": {}
  63         Driver: Directory
  64         DriverParameters:
  65           Root: /mnt/local-disk
  66 </code></pre></notextile>
  67
  68 In the case of a network-attached filesystem, the AccessViaHosts section can have multiple entries. If the filesystem is accessible by all keepstore servers, the AccessViaHosts section can be empty, or omitted entirely.
  69
  70 <notextile>
  71 <pre><code>Clusters:
  72   <span class="userinput">uuid_prefix</span>:
  73     Volumes:
  74       <span class="userinput">uuid_prefix</span>-nyw5e-<span class="userinput">000000000000002</span>:
  75         AccessViaHosts:
  76           # This section determines which keepstore servers access the
  77           # volume. In this example, keep0 has read/write access, and
  78           # keep1 has read-only access.
  79           #
  80           # If the AccessViaHosts section is empty or omitted, all
  81           # keepstore servers will have read/write access to the
  82           # volume.
  83           "http://<span class="userinput">keep0.uuid_prefix.example.com</span>:25107/": {}
  84           "http://<span class="userinput">keep1.uuid_prefix.example.com</span>:25107/": {ReadOnly: true}
  85         Driver: Directory
  86         DriverParameters:
  87           Root: /mnt/network-attached-filesystem
  88         Replication: 2
  89 </code></pre></notextile>