Merge branch '13647-keepstore-config'
[arvados.git] / doc / admin / config-migration.html.textile.liquid
1 ---
2 layout: default
3 navsection: admin
4 title: Migrating Configuration
5 ...
6
7 {% comment %}
8 Copyright (C) The Arvados Authors. All rights reserved.
9
10 SPDX-License-Identifier: CC-BY-SA-3.0
11 {% endcomment %}
12
13 Arvados is migrating to a centralized configuration file for all components.  The centralized Arvados configuration is @/etc/arvados/config.yml@.  Components that support the new centralized configuration are listed below.  Components not listed here do not yet support centralized configuration.  During the migration period, legacy configuration files will continue to be loaded and take precedence over the centralized configuration file.
14
15 h2. API server
16
17 The legacy API server configuration is stored in @config/application.yml@ and @config/database.yml@.  After migration to @/etc/arvados/config.yml@, both of these files should be moved out of the way and/or deleted.
18
19 Change to the API server directory and use the following commands:
20
21 <pre>
22 $ RAILS_ENV=production bundle exec rake config:migrate > config.yml
23 $ cp config.yml /etc/arvados/config.yml
24 </pre>
25
26 This will print the contents of @config.yml@ after merging the legacy @application.yml@ and @database.yml@ into the existing systemwide @config.yml@.  It may be redirected to a file and copied to @/etc/arvados/config.yml@ (it is safe to copy over, all configuration items from the existing @/etc/arvados/config.yml@ will be included in the migrated output).
27
28 If you wish to update @config.yml@ configuration by hand, or check that everything has been migrated, use @config:diff@ to print configuration items that differ between @application.yml@ and the system @config.yml@.
29
30 <pre>
31 $ RAILS_ENV=production bundle exec rake config:diff
32 </pre>
33
34 This command will also report if no migrations are required.
35
36 h2. Workbench
37
38 The legacy workbench configuration is stored in @config/application.yml@.  After migration to @/etc/arvados/config.yml@, this file should be moved out of the way and/or deleted.
39
40 Change to the workbench server directory and use the following commands:
41
42 <pre>
43 $ RAILS_ENV=production bundle exec rake config:migrate > config.yml
44 $ cp config.yml /etc/arvados/config.yml
45 </pre>
46
47 This will print the contents of @config.yml@ after merging the legacy @application.yml@ into the existing systemwide @config.yml@.  It may be redirected to a file and copied to @/etc/arvados/config.yml@ (it is safe to copy over, all configuration items from the existing @/etc/arvados/config.yml@ will be included in the migrated output).
48
49 If you wish to update @config.yml@ configuration by hand, or check that everything has been migrated, use @config:diff@ to print configuration items that differ between @application.yml@ and the system @config.yml@.
50
51 <pre>
52 $ RAILS_ENV=production bundle exec rake config:diff
53 </pre>
54
55 This command will also report if no migrations are required.
56
57 h2. crunch-dispatch-slurm
58
59 Currently only reads @InstanceTypes@ from centralized configuration.  Still requires component-specific configuration file.
60
61 h2(#keepstore). keepstore
62
63 The legacy keepstore config (loaded from @/etc/arvados/keepstore/keepstore.yml@ or a different location specified via -legacy-keepstore-config command line argument) takes precedence over the centralized config. After you migrate everything from the legacy config to the centralized config, you should delete @/etc/arvados/keepstore/keepstore.yml@ and stop using the -legacy-keepstore-config argument.
64
65 To migrate a keepstore node's configuration, first install @arvados-server@. Run @arvados-server config-diff@, review and apply the recommended changes to @/etc/arvados/config.yml@, and run @arvados-server config-diff@ again to check for additional warnings and recommendations. When you are satisfied, delete the legacy config file, restart keepstore, and check its startup logs. Copy the updated centralized config file to your next keepstore server, and repeat the process there.
66
67 After migrating and removing all legacy keepstore config files, make sure the @/etc/arvados/config.yml@ file is identical across all system nodes -- API server, keepstore, etc. -- and restart all services to make sure they are using the latest configuration.
68
69 h2(#keepproxy). keepproxy
70
71 The legacy keepproxy config (loaded from @/etc/arvados/keepproxy/keepproxy.yml@ or a different location specified via -legacy-keepproxy-config command line argument) takes precedence over the centralized config. After you migrate everything from the legacy config to the centralized config, you should delete @/etc/arvados/keepproxy/keepproxy.yml@ and stop using the -legacy-keepproxy-config argument.
72
73 h2(#arv-git-httpd). arv-git-httpd
74
75 The legacy arv-git-httpd config (loaded from @/etc/arvados/git-httpd/git-httpd.yml@ or a different location specified via -legacy-git-httpd-config command line argument) takes precedence over the centralized config. After you migrate everything from the legacy config to the centralized config, you should delete @/etc/arvados/git-httpd/git-httpd.yml@ and stop using the -legacy-git-httpd-config argument.
76
77
78 h2. arvados-controller
79
80 Already uses centralized config exclusively.  No migration needed.
81
82 h2. arvados-dispatch-cloud
83
84 Already uses centralized config exclusively.  No migration needed.