doc/install/install-keepproxy.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Install Keepproxy server
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 # "Introduction":#introduction
  13 # "Update config.yml":#update-config
  14 # "Update nginx configuration":#update-nginx
  15 # "Install keepproxy package":#install-packages
  16 # "Start the service":#start-service
  17 # "Restart the API server and controller":#restart-api
  18 # "Confirm working installation":#confirm-working
  19
  20 h2(#introduction). Introduction
  21
  22 The Keepproxy server is a gateway into your Keep storage. Unlike the Keepstore servers, which are only accessible on the local LAN, Keepproxy is suitable for clients located elsewhere on the internet. Specifically, in contrast to Keepstore:
  23 * A client writing through Keepproxy sends a single copy of a data block, and Keepproxy distributes copies to the appropriate Keepstore servers.
  24 * A client can write through Keepproxy without precomputing content hashes. Notably, the browser-based upload feature in Workbench requires Keepproxy.
  25 * Keepproxy checks API token validity before processing requests. (Clients that can connect directly to Keepstore can use it as scratch space even without a valid API token.)
  26
  27 By convention, we use the following hostname for the Keepproxy server:
  28
  29 <div class="offset1">
  30 table(table table-bordered table-condensed).
  31 |_. Hostname|
  32 |keep.@uuid_prefix@.your.domain|
  33 </div>
  34
  35 This hostname should resolve from anywhere on the internet.
  36
  37 h2(#update-config). Update config.yml
  38
  39 Edit the cluster config at @/etc/arvados/config.yml@ and set @Services.Keepproxy.ExternalURL@ and @Services.Keepproxy.InternalURLs@.
  40
  41 <notextile>
  42 <pre><code>    Services:
  43       Keepproxy:
  44         ExternalURL: <span class="userinput">https://keep.ClusterID.example.com</span>
  45         InternalURLs:
  46           <span class="userinput">"http://keep.ClusterID.example.com:25107": {}</span>
  47 </span></code></pre>
  48 </notextile>
  49
  50 h2(#update-nginx). Update Nginx configuration
  51
  52 Put a reverse proxy with SSL support in front of Keepproxy. Keepproxy itself runs on the port 25107 (or whatever is specified in @Services.Keepproxy.InternalURL@) the reverse proxy runs on port 443 and forwards requests to Keepproxy.
  53
  54 Use a text editor to create a new file @/etc/nginx/conf.d/keepproxy.conf@ with the following configuration. Options that need attention are marked with “TODO”.
  55
  56 <notextile><pre><code>upstream keepproxy {
  57   server                127.0.0.1:<span class="userinput">25107</span>;
  58 }
  59
  60 server {
  61   listen                  <span class="userinput">[TODO your public IP address]</span>:443 ssl;
  62   server_name             keep.<span class="userinput">ClusterID</span>.example.com;
  63
  64   proxy_connect_timeout   90s;
  65   proxy_read_timeout      300s;
  66   proxy_set_header        X-Real-IP $remote_addr;
  67   proxy_http_version      1.1;
  68   proxy_request_buffering off;
  69
  70   ssl on;
  71   ssl_certificate     <span class="userinput">/TODO/YOUR/PATH/TO/cert.pem</span>;
  72   ssl_certificate_key <span class="userinput">/TODO/YOUR/PATH/TO/cert.key</span>;
  73
  74   # Clients need to be able to upload blocks of data up to 64MiB in size.
  75   client_max_body_size    64m;
  76
  77   location / {
  78     proxy_pass            http://keepproxy;
  79   }
  80 }
  81 </code></pre></notextile>
  82
  83 Note: if the Web uploader is failing to upload data and there are no logs from keepproxy, be sure to check the nginx proxy logs.  In addition to "GET" and "PUT", The nginx proxy must pass "OPTIONS" requests to keepproxy, which should respond with appropriate Cross-origin resource sharing headers.  If the CORS headers are not present, brower security policy will cause the upload request to silently fail.  The CORS headers are generated by keepproxy and should not be set in nginx.
  84
  85 h2(#install-packages). Install Keepproxy package
  86
  87 h3. Centos 7
  88
  89 <notextile>
  90 <pre><code># <span class="userinput">yum install keepproxy</span>
  91 </code></pre>
  92 </notextile>
  93
  94 h3. Debian and Ubuntu
  95
  96 <notextile>
  97 <pre><code># <span class="userinput">apt-get install keepproxy</span>
  98 </code></pre>
  99 </notextile>
 100
 101 h2(#start-service). Start the service
 102
 103 If your system does not use systemd, skip this section and follow the "runit instructions":#runit instead.
 104
 105 If your system uses systemd, the keepproxy service should already be set up. Start it and check its status:
 106
 107 <notextile>
 108 <pre><code># <span class="userinput">systemctl restart keepproxy</span>
 109 # <span class="userinput">systemctl status keepproxy</span>
 110 &#x25cf; keepproxy.service - Arvados Keep Proxy
 111    Loaded: loaded (/lib/systemd/system/keepproxy.service; enabled)
 112    Active: active (running) since Tue 2019-07-23 09:33:47 EDT; 3 weeks 1 days ago
 113      Docs: https://doc.arvados.org/
 114  Main PID: 1150 (Keepproxy)
 115    CGroup: /system.slice/keepproxy.service
 116            └─1150 /usr/bin/keepproxy
 117 [...]
 118 </code></pre>
 119 </notextile>
 120
 121 h2(#restart-api). Restart the API server and controller
 122
 123 After adding keeproxy to the Services section, make sure the cluster config file is up to date on the API server host, and restart the API server and controller processes to ensure the changes are applied.
 124
 125 <notextile>
 126 <pre><code># <span class="userinput">systemctl restart nginx arvados-controller</span>
 127 </code></pre>
 128 </notextile>
 129
 130 h2(#confirm-working). Confirm working installation
 131
 132 Log into a host that is on a network external to your private Arvados network.  The host should be able to contact your keepproxy server (eg @keep.ClusterID.example.com@), but not your keepstore servers (eg keep[0-9].ClusterID.example.com).
 133
 134 Install the "Python SDK":{{site.baseurl}}/sdk/python/sdk-python.html
 135
 136 @ARVADOS_API_HOST@ and @ARVADOS_API_TOKEN@ must be set in the environment.
 137
 138 You should now be able to use @arv-put@ to upload collections and @arv-get@ to fetch collections, for an example see "Testing keep.":install-keepstore.html#testing on the keepstore install page.