doc/install/install-keep-web.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Install Keep-web server
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 The Keep-web server provides read/write HTTP (WebDAV) access to files stored in Keep. It serves public data to unauthenticated clients, and serves private data to clients that supply Arvados API tokens. It can be installed anywhere with access to Keep services, typically behind a web proxy that provides TLS support. See the "godoc page":http://godoc.org/github.com/curoverse/arvados/services/keep-web for more detail.
  13
  14 By convention, we use the following hostnames for the Keep-web service:
  15
  16 <notextile>
  17 <pre><code>download.<span class="userinput">uuid_prefix</span>.your.domain
  18 collections.<span class="userinput">uuid_prefix</span>.your.domain
  19 *.collections.<span class="userinput">uuid_prefix</span>.your.domain
  20 </code></pre>
  21 </notextile>
  22
  23 The above hostnames should resolve from anywhere on the internet.
  24
  25 h2. Install Keep-web
  26
  27 Typically Keep-web runs on the same host as Keepproxy.
  28
  29 On Debian-based systems:
  30
  31 <notextile>
  32 <pre><code>~$ <span class="userinput">sudo apt-get install keep-web</span>
  33 </code></pre>
  34 </notextile>
  35
  36 On Red Hat-based systems:
  37
  38 <notextile>
  39 <pre><code>~$ <span class="userinput">sudo yum install keep-web</span>
  40 </code></pre>
  41 </notextile>
  42
  43 Verify that @Keep-web@ is functional:
  44
  45 <notextile>
  46 <pre><code>~$ <span class="userinput">keep-web -h</span>
  47 Usage of keep-web:
  48   -config file
  49         Site configuration file (default may be overridden by setting an ARVADOS_CONFIG environment variable) (default "/etc/arvados/config.yml")
  50   -dump-config
  51         write current configuration to stdout and exit
  52 [...]
  53   -version
  54         print version information and exit.
  55 </code></pre>
  56 </notextile>
  57
  58 {% assign railscmd = "bundle exec ./script/get_anonymous_user_token.rb --get" %}
  59 {% assign railsout = "zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz" %}
  60 If you intend to use Keep-web to serve public data to anonymous clients, configure it with an anonymous token. You can use the same one you used when you set up your Keepproxy server, or use the following command on the <strong>API server</strong> to create another. {% include 'install_rails_command' %}
  61
  62 h3. Start the service (option 1: systemd)
  63
  64 If your system does not use systemd, skip this section and follow the "runit instructions":#runit instead.
  65
  66 If your system uses systemd, the keep-web service should already be set up. Start it and check its status:
  67
  68 <notextile>
  69 <pre><code>~$ <span class="userinput">sudo systemctl restart keep-web</span>
  70 ~$ <span class="userinput">sudo systemctl status keep-web</span>
  71 &#x25cf; keep-web.service - Arvados Keep web gateway
  72    Loaded: loaded (/lib/systemd/system/keep-web.service; enabled)
  73    Active: active (running) since Sat 2019-08-10 10:33:21 UTC; 3 days ago
  74      Docs: https://doc.arvados.org/
  75  Main PID: 4242 (keep-web)
  76    CGroup: /system.slice/keep-web.service
  77            └─4242 /usr/bin/keep-web
  78 [...]
  79 </code></pre>
  80 </notextile>
  81
  82 h3(#runit). Start the service (option 2: runit)
  83
  84 Install runit to supervise the Keep-web daemon.  {% include 'install_runit' %}
  85
  86 The basic command to start Keep-web in the service run script is:
  87
  88 <notextile>
  89 <pre><code>exec sudo -u nobody keep-web
  90 </code></pre>
  91 </notextile>
  92
  93 {% include 'notebox_begin' %}
  94 Please take into consideration that the config file should be world-readable.
  95 {% include 'notebox_end' %}
  96
  97 h3. Set up a reverse proxy with TLS support
  98
  99 The Keep-web service will be accessible from anywhere on the internet, so we recommend using TLS for transport encryption.
 100
 101 This is best achieved by putting a reverse proxy with TLS support in front of Keep-web, running on port 443 and passing requests to Keep-web on port 9002 (or whatever port you chose in your run script).
 102
 103 Note: A wildcard TLS certificate is required in order to support a full-featured secure Keep-web service. Without it, Keep-web can offer file downloads for all Keep data; however, in order to avoid cross-site scripting vulnerabilities, Keep-web refuses to serve private data as web content except when it is accessed using a "secret link" share. With a wildcard TLS certificate and DNS configured appropriately, all data can be served as web content.
 104
 105 For example, using Nginx:
 106
 107 <notextile><pre>
 108 upstream keep-web {
 109   server                127.0.0.1:<span class="userinput">9002</span>;
 110 }
 111
 112 server {
 113   listen                <span class="userinput">[your public IP address]</span>:443 ssl;
 114   server_name           download.<span class="userinput">uuid_prefix</span>.your.domain
 115                         collections.<span class="userinput">uuid_prefix</span>.your.domain
 116                         *.collections.<span class="userinput">uuid_prefix</span>.your.domain
 117                         ~.*--collections.<span class="userinput">uuid_prefix</span>.your.domain;
 118
 119   proxy_connect_timeout 90s;
 120   proxy_read_timeout    300s;
 121
 122   ssl                   on;
 123   ssl_certificate       <span class="userinput"/>YOUR/PATH/TO/cert.pem</span>;
 124   ssl_certificate_key   <span class="userinput"/>YOUR/PATH/TO/cert.key</span>;
 125
 126   location / {
 127     proxy_pass          http://keep-web;
 128     proxy_set_header    Host            $host;
 129     proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;
 130
 131     client_max_body_size    0;
 132     proxy_http_version      1.1;
 133     proxy_request_buffering off;
 134   }
 135 }
 136 </pre></notextile>
 137
 138 {% include 'notebox_begin' %}
 139 If you restrict access to your Arvados services based on network topology -- for example, your proxy server is not reachable from the public internet -- additional proxy configuration might be needed to thwart cross-site scripting attacks that would circumvent your restrictions. Read the "'Intranet mode' section of the Keep-web documentation":https://godoc.org/github.com/curoverse/arvados/services/keep-web#hdr-Intranet_mode now.
 140 {% include 'notebox_end' %}
 141
 142 h3. Configure DNS
 143
 144 Configure your DNS servers so the following names resolve to your Nginx proxy's public IP address.
 145 * @download.uuid_prefix.your.domain@
 146 * @collections.uuid_prefix.your.domain@
 147 * @*--collections.uuid_prefix.your.domain@, if you have a wildcard TLS certificate valid for @*.uuid_prefix.your.domain@ and your DNS server allows this without interfering with other DNS names.
 148 * @*.collections.uuid_prefix.your.domain@, if you have a wildcard TLS certificate valid for these names.
 149
 150 If neither of the above wildcard options is feasible, you have two choices:
 151 # Serve web content at @collections.uuid_prefix.your.domain@, but only for unauthenticated requests (public data and collection sharing links). Authenticated requests will always result in file downloads, using the @download@ name. For example, the Workbench "preview" button and the "view entire log file" link will invoke file downloads instead of displaying content in the browser window.
 152 # In the special case where you know you are immune to XSS exploits, you can enable the "trust all content" mode in Keep-web and Workbench (setting @Collections.TrustAllContent: true@ on the config file). With this enabled, inline web content can be served from a single @collections@ host name; no wildcard DNS or certificate is needed. Do not do this without understanding the security implications described in the "Keep-web documentation":http://godoc.org/github.com/curoverse/arvados/services/keep-web.
 153
 154 h3. Configure Keep-web
 155
 156 Set the cluster config file like the following:
 157
 158 <notextile>
 159 <pre><code>Clusters:
 160   <span class="userinput">uuid_prefix</span>:
 161     SystemRootToken: "{{railsout}}"
 162     Services:
 163       Controller:
 164         ExternalURL: "https://<span class="userinput">uuid_prefix</span>.your.domain"
 165       WebDAV:
 166         InternalURLs:
 167           "http://keep_web_hostname_goes_here:9002/": {}
 168         ExternalURL: "https://collections.<span class="userinput">uuid_prefix</span>.your.domain"
 169       WebDAVDownload:
 170         InternalURLs:
 171           "http://keep_web_hostname_goes_here:9002/": {}
 172         ExternalURL: "https://download.<span class="userinput">uuid_prefix</span>.your.domain"
 173     Users:
 174       AnonymousUserToken: "xxxxxxxxxxxxxxxxxxxx"
 175     Collections:
 176       TrustAllContent: false
 177     TLS:
 178       Insecure: false
 179 </code></pre>
 180 </notextile>
 181
 182 Set @Users.AnonymousUserToken: ""@ (empty string) if you do not want to serve public data.
 183
 184 Set @TLS.Insecure: true@ if your API server's TLS certificate is not signed by a recognized CA.
 185
 186 Workbench has features like "download file from collection" and "show image" which work better if the content is served by Keep-web rather than Workbench itself. We recommend using the two different hostnames ("download" and "collections" above) for file downloads and inline content respectively.
 187
 188 The following entry on your cluster configuration file (@/etc/arvados/config.yml@) details the URL that will be used for file downloads.
 189
 190 <notextile>
 191 <pre><code>Clusters:
 192   <span class="userinput">uuid_prefix</span>:
 193     Services:
 194       WebDAVDownload:
 195         ExternalURL: "https://download.<span class="userinput">uuid_prefix</span>.your.domain"
 196 </code></pre>
 197 </notextile>
 198
 199 Additionally, one of the following entries on your cluster configuration file (depending on your DNS setup) tells Workbench which URL will be used to serve user content that can be displayed in the browser, like image previews and static HTML pages.
 200
 201 <notextile>
 202 <pre><code>Clusters:
 203   <span class="userinput">uuid_prefix</span>:
 204     Services:
 205       WebDAV:
 206         ExternalURL: "https://*--collections.<span class="userinput">uuid_prefix</span>.your.domain"
 207         ExternalURL: "https://*.collections.<span class="userinput">uuid_prefix</span>.your.domain"
 208         ExternalURL: "https://collections.<span class="userinput">uuid_prefix</span>.your.domain"
 209 </code></pre>
 210 </notextile>