doc/install/install-api-server.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Install the API server
   5 ...
   6
   7 h2. Install prerequisites
   8
   9 The Arvados package repository includes an API server package that can help automate much of the deployment.
  10
  11 h3(#install_ruby_and_bundler). Install Ruby and Bundler
  12
  13 {% include 'install_ruby_and_bundler' %}
  14
  15 h3(#install_postgres). Install PostgreSQL
  16
  17 {% include 'install_postgres' %}
  18
  19 h2(#install_apiserver). Install API server and dependencies
  20
  21 On a Debian-based system, install the following packages:
  22
  23 <notextile>
  24 <pre><code>~$ <span class="userinput">sudo apt-get install bison build-essential libcurl4-openssl-dev git arvados-api-server</span>
  25 </code></pre>
  26 </notextile>
  27
  28 On a Red Hat-based system, install the following packages:
  29
  30 <notextile>
  31 <pre><code>~$ <span class="userinput">sudo yum install bison make automake gcc gcc-c++ libcurl-devel git arvados-api-server</span>
  32 </code></pre>
  33 </notextile>
  34
  35 {% include 'install_git' %}
  36
  37 h2(#configure). Set up the database
  38
  39 Generate a new database password. Nobody ever needs to memorize it or type it, so we'll make a strong one:
  40
  41 <notextile>
  42 <pre><code>~$ <span class="userinput">ruby -e 'puts rand(2**128).to_s(36)'</span>
  43 6gqa1vu492idd7yca9tfandj3
  44 </code></pre></notextile>
  45
  46 Create a new database user.
  47
  48 <notextile>
  49 <pre><code>~$ <span class="userinput">sudo -u postgres createuser --encrypted -R -S --pwprompt arvados</span>
  50 [sudo] password for <b>you</b>: <span class="userinput">yourpassword</span>
  51 Enter password for new role: <span class="userinput">paste-password-you-generated</span>
  52 Enter it again: <span class="userinput">paste-password-again</span>
  53 </code></pre></notextile>
  54
  55 {% assign pg_hba_path = "/opt/rh/postgresql92/root/var/lib/pgsql/data/pg_hba.conf" %}
  56 {% assign pg_service = "postgresql92-postgresql" %}
  57 {% include 'install_redhat_postgres_auth' %}
  58
  59 Create the database:
  60
  61 <notextile>
  62 <pre><code>~$ <span class="userinput">sudo -u postgres createdb arvados_production -T template0 -E UTF8 -O arvados</span>
  63 </code></pre>
  64 </notextile>
  65
  66 h2. Set up configuration files
  67
  68 The API server package uses configuration files that you write to @/etc/arvados/api@ and ensures they're consistently deployed.  Create this directory and copy the example configuration files to it:
  69
  70 <notextile>
  71 <pre><code>~$ <span class="userinput">sudo mkdir -p /etc/arvados/api</span>
  72 ~$ <span class="userinput">sudo chmod 700 /etc/arvados/api</span>
  73 ~$ <span class="userinput">cd /var/www/arvados-api/current</span>
  74 /var/www/arvados-api/current$ <span class="userinput">sudo cp config/database.yml.example /etc/arvados/api/database.yml</span>
  75 /var/www/arvados-api/current$ <span class="userinput">sudo cp config/application.yml.example /etc/arvados/api/application.yml</span>
  76 </code></pre>
  77 </notextile>
  78
  79 h2. Configure the database connection
  80
  81 Edit @/etc/arvados/api/database.yml@ and replace the @xxxxxxxx@ database password placeholders with the PostgreSQL password you generated above.
  82
  83 h2(#configure_application). Configure the API server
  84
  85 Edit @/etc/arvados/api/application.yml@ to configure the settings described in the following sections.  The deployment script will consistently deploy this to the API server's configuration directory.  The API server reads both @application.yml@ and its own @config/application.default.yml@ file.  The settings in @application.yml@ take precedence over the defaults that are defined in @config/application.default.yml@.  The @config/application.yml.example@ file is not read by the API server and is provided as a starting template only.
  86
  87 @config/application.default.yml@ documents additional configuration settings not listed here.  You can "view the current source version":https://dev.arvados.org/projects/arvados/repository/revisions/master/entry/services/api/config/application.default.yml for reference.
  88
  89 Only put local configuration in @application.yml@.  Do not edit @application.default.yml@.
  90
  91 h3(#uuid_prefix). uuid_prefix
  92
  93 Define your @uuid_prefix@ in @application.yml@ by setting the @uuid_prefix@ field in the section for your environment.  This prefix is used for all database identifiers to identify the record as originating from this site.  It must be exactly 5 lowercase ASCII letters and digits.
  94
  95 Example @application.yml@:
  96
  97 <notextile>
  98 <pre><code>  uuid_prefix: <span class="userinput">zzzzz</span></code></pre>
  99 </notextile>
 100
 101 h3. secret_token
 102
 103 The @secret_token@ is used for for signing cookies.  IMPORTANT: This is a site secret. It should be at least 50 characters.  Generate a random value and set it in @application.yml@:
 104
 105 <notextile>
 106 <pre><code>~$ <span class="userinput">ruby -e 'puts rand(2**400).to_s(36)'</span>
 107 yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
 108 </code></pre></notextile>
 109
 110 Example @application.yml@:
 111
 112 <notextile>
 113 <pre><code>  secret_token: <span class="userinput">yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy</span></code></pre>
 114 </notextile>
 115
 116 h3(#blob_signing_key). blob_signing_key
 117
 118 The @blob_signing_key@ is used to enforce access control to Keep blocks.  This same key must be provided to the Keepstore daemons when "installing Keepstore servers.":install-keepstore.html  IMPORTANT: This is a site secret. It should be at least 50 characters.  Generate a random value and set it in @application.yml@:
 119
 120 <notextile>
 121 <pre><code>~$ <span class="userinput">ruby -e 'puts rand(2**400).to_s(36)'</span>
 122 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
 123 </code></pre></notextile>
 124
 125 Example @application.yml@:
 126
 127 <notextile>
 128 <pre><code>  blob_signing_key: <span class="userinput">xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx</span></code></pre>
 129 </notextile>
 130
 131 h3(#omniauth). sso_app_secret, sso_app_id, sso_provider_url
 132
 133 The following settings enable the API server to communicate with the "Single Sign On (SSO) server":install-sso.html to authenticate user log in.
 134
 135 Set @sso_provider_url@ to the base URL where your SSO server is installed.  This should be a URL consisting of the scheme and host (and optionally, port), without a trailing slash.
 136
 137 Set @sso_app_secret@ and @sso_app_id@ to the corresponding values for @app_secret@ and @app_id@ used in the "Create arvados-server client for Single Sign On (SSO)":install-sso.html#client step.
 138
 139 Example @application.yml@:
 140
 141 <notextile>
 142 <pre><code>  sso_app_id: <span class="userinput">arvados-server</span>
 143   sso_app_secret: <span class="userinput">wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww</span>
 144   sso_provider_url: <span class="userinput">https://sso.example.com</span>
 145 </code></pre>
 146 </notextile>
 147
 148 h3. workbench_address
 149
 150 Set @workbench_address@ to the URL of your workbench application after following "Install Workbench.":install-workbench-app.html
 151
 152 Example @application.yml@:
 153
 154 <notextile>
 155 <pre><code>  workbench_address: <span class="userinput">https://workbench.zzzzz.example.com</span></code></pre>
 156 </notextile>
 157
 158 h3. websocket_address
 159
 160 Set @websocket_address@ to the @wss://@ URL of the API server websocket endpoint after following "Set up Web servers":#set_up.  The path of the default endpoint is @/websocket@.
 161
 162 Example @application.yml@:
 163
 164 <notextile>
 165 <pre><code>  websocket_address: <span class="userinput">wss://ws.zzzzz.example.com</span>/websocket</code></pre>
 166 </notextile>
 167
 168 h3(#git_repositories_dir). git_repositories_dir
 169
 170 The @git_repositories_dir@ setting specifies the directory where user git repositories will be stored.
 171
 172 The git server setup process is covered on "its own page":install-arv-git-httpd.html. For now, create an empty directory in the default location:
 173
 174 <notextile>
 175 <pre><code>~$ <span class="userinput">sudo mkdir -p /var/lib/arvados/git/repositories</span>
 176 </code></pre></notextile>
 177
 178 If you intend to store your git repositories in a different location, specify that location in @application.yml@.
 179
 180 Default setting in @application.default.yml@:
 181
 182 <notextile>
 183 <pre><code>  git_repositories_dir: <span class="userinput">/var/lib/arvados/git/repositories</span>
 184 </code></pre>
 185 </notextile>
 186
 187 h3(#git_internal_dir). git_internal_dir
 188
 189 The @git_internal_dir@ setting specifies the location of Arvados' internal git repository.  By default this is @/var/lib/arvados/internal.git@.  This repository stores git commits that have been used to run Crunch jobs.  It should _not_ be a subdirectory of @git_repositories_dir@.
 190
 191 Example @application.yml@:
 192
 193 <notextile>
 194 <pre><code>  git_internal_dir: <span class="userinput">/var/lib/arvados/internal.git</span>
 195 </code></pre>
 196 </notextile>
 197
 198 h2(#set_up). Set up Web servers
 199
 200 For best performance, we recommend you use Nginx as your Web server front-end, with a Passenger backend for the main API server and a Puma backend for API server Websockets.  To do that:
 201
 202 <notextile>
 203 <ol>
 204 <li><a href="https://www.phusionpassenger.com/library/walkthroughs/deploy/ruby/ownserver/nginx/oss/install_passenger_main.html">Install Nginx and Phusion Passenger</a>.</li>
 205
 206 <li><p>Install runit to supervise the Puma daemon.  {% include 'install_runit' %}</p></li>
 207
 208 <li><p>Install the script below as the run script for the Puma service, modifying it as directed by the comments.</p>
 209
 210 <pre><code>#!/bin/bash
 211
 212 set -e
 213 exec 2>&1
 214
 215 # Uncomment the line below if you're using RVM.
 216 #source /etc/profile.d/rvm.sh
 217
 218 envdir="`pwd`/env"
 219 mkdir -p "$envdir"
 220 echo ws-only > "$envdir/ARVADOS_WEBSOCKETS"
 221
 222 cd /var/www/arvados-api/current
 223 echo "Starting puma in `pwd`"
 224
 225 # Change arguments below to match your deployment, "webserver-user" and
 226 # "webserver-group" should be changed to the user and group of the web server
 227 # process.  This is typically "www-data:www-data" on Debian systems by default,
 228 # other systems may use different defaults such the name of the web server
 229 # software (for example, "nginx:nginx").
 230 exec chpst -m 1073741824 -u webserver-user:webserver-group -e "$envdir" \
 231   bundle exec puma -t 0:512 -e production -b tcp://127.0.0.1:8100
 232 </code></pre>
 233 </li>
 234
 235 <li><p>Edit the http section of your Nginx configuration to run the Passenger server, and act as a front-end for both it and Puma.  You might add a block like the following, adding SSL and logging parameters to taste:</p>
 236
 237 <pre><code>server {
 238   listen 127.0.0.1:8000;
 239   server_name localhost-api;
 240
 241   root /var/www/arvados-api/current/public;
 242   index  index.html index.htm index.php;
 243
 244   passenger_enabled on;
 245   # If you're using RVM, uncomment the line below.
 246   #passenger_ruby /usr/local/rvm/wrappers/default/ruby;
 247
 248   # This value effectively limits the size of API objects users can
 249   # create, especially collections.  If you change this, you should
 250   # also ensure the following settings match it:
 251   # * `client_max_body_size` in the server section below
 252   # * `client_max_body_size` in the Workbench Nginx configuration (twice)
 253   # * `max_request_size` in the API server's application.yml file
 254   client_max_body_size 128m;
 255 }
 256
 257 upstream api {
 258   server     127.0.0.1:8000  fail_timeout=10s;
 259 }
 260
 261 upstream websockets {
 262   # The address below must match the one specified in puma's -b option.
 263   server     127.0.0.1:8100  fail_timeout=10s;
 264 }
 265
 266 proxy_http_version 1.1;
 267
 268 # When Keep clients request a list of Keep services from the API server, the
 269 # server will automatically return the list of available proxies if
 270 # the request headers include X-External-Client: 1.  Following the example
 271 # here, at the end of this section, add a line for each netmask that has
 272 # direct access to Keep storage daemons to set this header value to 0.
 273 geo $external_client {
 274   default        1;
 275   <span class="userinput">10.20.30.0/24</span>  0;
 276 }
 277
 278 server {
 279   listen       <span class="userinput">[your public IP address]</span>:443 ssl;
 280   server_name  <span class="userinput">uuid_prefix.your.domain</span>;
 281
 282   ssl on;
 283   ssl_certificate     <span class="userinput">/YOUR/PATH/TO/cert.pem</span>;
 284   ssl_certificate_key <span class="userinput">/YOUR/PATH/TO/cert.key</span>;
 285
 286   index  index.html index.htm index.php;
 287
 288   # Refer to the comment about this setting in the server section above.
 289   client_max_body_size 128m;
 290
 291   location / {
 292     proxy_pass            http://api;
 293     proxy_redirect        off;
 294     proxy_connect_timeout 90s;
 295     proxy_read_timeout    300s;
 296
 297     proxy_set_header      X-Forwarded-Proto https;
 298     proxy_set_header      Host $http_host;
 299     proxy_set_header      X-External-Client $external_client;
 300     proxy_set_header      X-Real-IP $remote_addr;
 301     proxy_set_header      X-Forwarded-For $proxy_add_x_forwarded_for;
 302   }
 303 }
 304
 305 server {
 306   listen       <span class="userinput">[your public IP address]</span>:443 ssl;
 307   server_name  ws.<span class="userinput">uuid_prefix.your.domain</span>;
 308
 309   ssl on;
 310   ssl_certificate     <span class="userinput">/YOUR/PATH/TO/cert.pem</span>;
 311   ssl_certificate_key <span class="userinput">/YOUR/PATH/TO/cert.key</span>;
 312
 313   index  index.html index.htm index.php;
 314
 315   location / {
 316     proxy_pass            http://websockets;
 317     proxy_redirect        off;
 318     proxy_connect_timeout 90s;
 319     proxy_read_timeout    300s;
 320
 321     proxy_set_header      Upgrade $http_upgrade;
 322     proxy_set_header      Connection "upgrade";
 323     proxy_set_header      Host $host;
 324     proxy_set_header      X-Real-IP $remote_addr;
 325     proxy_set_header      X-Forwarded-For $proxy_add_x_forwarded_for;
 326   }
 327 }
 328 </code></pre>
 329 </li>
 330
 331 <li><p>Restart Nginx:</p>
 332
 333 <pre><code>~$ <span class="userinput">sudo nginx -s reload</span>
 334 </code></pre>
 335
 336 </li>
 337
 338 </ol>
 339 </notextile>
 340
 341 h2. Prepare the API server deployment
 342
 343 {% assign railspkg = "arvados-api-server" %}
 344 {% include 'install_rails_reconfigure' %}
 345
 346 {% include 'notebox_begin' %}
 347 You can safely ignore the following messages if they appear while this command runs:
 348 <pre>Don't run Bundler as root. Bundler can ask for sudo if it is needed, and installing your bundle as root will
 349 break this application for all non-root users on this machine.</pre>
 350 <pre>fatal: Not a git repository (or any of the parent directories): .git</pre>
 351 {% include 'notebox_end' %}