doc/install/configure-s3-object-storage.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Configure S3 object storage
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 Keepstore can store data in object storage compatible with the S3 API, such as Amazon S3, Google Cloud Storage, or Ceph RADOS.
  13
  14 Volumes are configured in the @Volumes@ section of the cluster configuration file.
  15
  16 {% include 'assign_volume_uuid' %}
  17
  18 <notextile><pre><code>Clusters:
  19   <span class="userinput">uuid_prefix</span>:
  20     Volumes:
  21       <span class="userinput">uuid_prefix</span>-nyw5e-<span class="userinput">000000000000000</span>:
  22         AccessViaHosts:
  23           # This section determines which keepstore servers access the
  24           # volume. In this example, keep0 has read/write access, and
  25           # keep1 has read-only access.
  26           #
  27           # If the AccessViaHosts section is empty, all keepstore
  28           # servers will have read/write access to the volume.
  29           "http://keep0.zzzzz.example.com:25107/": {}
  30           "http://keep1.zzzzz.example.com:25107/": {ReadOnly: true}
  31
  32         Driver: S3
  33         DriverParameters:
  34           # The credentials to use to access the bucket.
  35           AccessKey: aaaaa
  36           SecretKey: aaaaa
  37
  38           # Storage provider endpoint. For Amazon S3, use "" or
  39           # omit. For Google Cloud Storage, use
  40           # "https://storage.googleapis.com".
  41           Endpoint: ""
  42
  43           # Storage provider region. For Google Cloud Storage, use ""
  44           # or omit.
  45           Region: us-east-1a
  46
  47           # Change to true if the region requires a LocationConstraint
  48           # declaration.
  49           LocationConstraint: false
  50
  51           # Bucket name.
  52           Bucket: example-bucket-name
  53
  54           # Requested page size for "list bucket contents" requests.
  55           IndexPageSize: 1000
  56
  57           # Maximum time to wait while making the initial connection
  58           # to the backend before failing the request.
  59           ConnectTimeout: 1m
  60
  61           # Maximum time to wait for a complete response from the
  62           # backend before failing the request.
  63           ReadTimeout: 2m
  64
  65           # Maximum eventual consistency latency
  66           RaceWindow: 24h
  67
  68           # Enable deletion (garbage collection) even when the
  69           # configured BlobTrashLifetime is zero.  WARNING: eventual
  70           # consistency may result in race conditions that can cause
  71           # data loss.  Do not enable this unless you understand and
  72           # accept the risk.
  73           UnsafeDelete: false
  74
  75         # How much replication is provided by the underlying bucket.
  76         # This is used to inform replication decisions at the Keep
  77         # layer.
  78         Replication: 2
  79
  80         # If true, do not accept write or trash operations, even if
  81         # AccessViaHosts.*.ReadOnly is false.
  82         #
  83         # If false or omitted, enable write access (subject to
  84         # AccessViaHosts.*.ReadOnly, where applicable).
  85         ReadOnly: false
  86
  87         # Storage classes to associate with this volume.  See "Storage
  88         # classes" in the "Admin" section of doc.arvados.org.
  89         StorageClasses: null
  90 </code></pre></notextile>