20690: Merge branch 'main' into 20690-remove-wb1
[arvados.git] / doc / install / install-keepproxy.html.textile.liquid
1 ---
2 layout: default
3 navsection: installguide
4 title: Install Keepproxy server
5 ...
6 {% comment %}
7 Copyright (C) The Arvados Authors. All rights reserved.
8
9 SPDX-License-Identifier: CC-BY-SA-3.0
10 {% endcomment %}
11
12 # "Introduction":#introduction
13 # "Update config.yml":#update-config
14 # "Update nginx configuration":#update-nginx
15 # "Install keepproxy package":#install-packages
16 # "Start the service":#start-service
17 # "Restart the API server and controller":#restart-api
18 # "Confirm working installation":#confirm-working
19
20 h2(#introduction). Introduction
21
22 The Keepproxy server is a gateway into your Keep storage. Unlike the Keepstore servers, which are only accessible on the local LAN, Keepproxy is suitable for clients located elsewhere on the internet. Specifically, in contrast to Keepstore:
23 * A client writing through Keepproxy sends a single copy of a data block, and Keepproxy distributes copies to the appropriate Keepstore servers.
24 * A client can write through Keepproxy without precomputing content hashes.
25 * Keepproxy checks API token validity before processing requests. (Clients that can connect directly to Keepstore can use it as scratch space even without a valid API token.)
26
27 By convention, we use the following hostname for the Keepproxy server:
28
29 <div class="offset1">
30 table(table table-bordered table-condensed).
31 |_. Hostname|
32 |@keep.ClusterID.example.com@|
33 </div>
34
35 This hostname should resolve from anywhere on the internet.
36
37 h2(#update-config). Update config.yml
38
39 Edit the cluster config at @config.yml@ and set @Services.Keepproxy.ExternalURL@ and @Services.Keepproxy.InternalURLs@.
40
41 <notextile>
42 <pre><code>    Services:
43       Keepproxy:
44         ExternalURL: <span class="userinput">https://keep.ClusterID.example.com</span>
45         InternalURLs:
46           <span class="userinput">"http://localhost:25107": {}</span>
47 </span></code></pre>
48 </notextile>
49
50 h2(#update-nginx). Update Nginx configuration
51
52 Put a reverse proxy with SSL support in front of Keepproxy. Keepproxy itself runs on the port 25107 (or whatever is specified in @Services.Keepproxy.InternalURL@) while the reverse proxy runs on port 443 and forwards requests to Keepproxy.
53
54 Use a text editor to create a new file @/etc/nginx/conf.d/keepproxy.conf@ with the following configuration. Options that need attention are marked in <span class="userinput">red</span>.
55
56 <notextile><pre><code>upstream keepproxy {
57   server                127.0.0.1:<span class="userinput">25107</span>;
58 }
59
60 server {
61   listen                  443 ssl;
62   server_name             <span class="userinput">keep.ClusterID.example.com</span>;
63
64   proxy_connect_timeout   90s;
65   proxy_read_timeout      300s;
66   proxy_set_header        X-Real-IP $remote_addr;
67   proxy_http_version      1.1;
68   proxy_request_buffering off;
69   proxy_max_temp_file_size 0;
70
71   ssl_certificate     <span class="userinput">/YOUR/PATH/TO/cert.pem</span>;
72   ssl_certificate_key <span class="userinput">/YOUR/PATH/TO/cert.key</span>;
73
74   # Clients need to be able to upload blocks of data up to 64MiB in size.
75   client_max_body_size    64m;
76
77   location / {
78     proxy_pass            http://keepproxy;
79   }
80 }
81 </code></pre></notextile>
82
83 Note: if the Web uploader is failing to upload data and there are no logs from keepproxy, be sure to check the nginx proxy logs.  In addition to "GET" and "PUT", The nginx proxy must pass "OPTIONS" requests to keepproxy, which should respond with appropriate Cross-origin resource sharing headers.  If the CORS headers are not present, brower security policy will cause the upload request to silently fail.  The CORS headers are generated by keepproxy and should not be set in nginx.
84
85 {% assign arvados_component = 'keepproxy' %}
86
87 {% include 'install_packages' %}
88
89 {% include 'start_service' %}
90
91 {% include 'restart_api' %}
92
93 h2(#confirm-working). Confirm working installation
94
95 We recommend using the "Cluster diagnostics tool.":diagnostics.html  Because Keepproxy is specifically a gateway used by outside clients, for this test you should run the diagnostics from a client machine outside the Arvados private network, and provide the @-external-client@ parameter.
96
97 Here are some other checks you can perform manually.
98
99 Log into a host that is on a network external to your private Arvados network.  The host should be able to contact your keepproxy server (eg @keep.ClusterID.example.com@), but not your keepstore servers (eg keep[0-9].ClusterID.example.com).
100
101 @ARVADOS_API_HOST@ and @ARVADOS_API_TOKEN@ must be set in the environment.
102
103 @ARVADOS_API_HOST@ should be the hostname of the API server.
104
105 @ARVADOS_API_TOKEN@ should be the system root token.
106
107 Install the "Command line SDK":{{site.baseurl}}/sdk/cli/install.html
108
109 Check that the keepproxy server is in the @keep_service@ "accessible" list:
110
111 <notextile>
112 <pre><code>
113 $ <span class="userinput">arv keep_service accessible</span>
114 [...]
115 </code></pre>
116 </notextile>
117
118 If keepstore does not show up in the "accessible" list, and you are accessing it from within the private network, check that you have "properly configured the @geo@ block for the API server":install-api-server.html#update-nginx .
119
120 Install the "Python SDK":{{site.baseurl}}/sdk/python/sdk-python.html
121
122 You should now be able to use @arv-put@ to upload collections and @arv-get@ to fetch collections.  Be sure to execute this from _outside_ the cluster's private network.
123
124 {% include 'arv_put_example' %}