Merge branch '17256-nodejs-dependency-update'
[arvados.git] / lib / boot / passenger.go
index b67370e1ec0e0eaf71f488ec197631a55dcb2edf..6a2c4b61f5a93584fa3a4ba023e2b25b1a5a545c 100644 (file)
@@ -11,52 +11,72 @@ import (
        "os"
        "path/filepath"
        "strings"
+       "sync"
 
        "git.arvados.org/arvados.git/sdk/go/arvados"
 )
 
+// Don't trust "passenger-config" (or "bundle install") to handle
+// concurrent installs.
+var passengerInstallMutex sync.Mutex
+
+var railsEnv = []string{
+       "ARVADOS_RAILS_LOG_TO_STDOUT=1",
+       "ARVADOS_CONFIG_NOLEGACY=1", // don't load database.yml from source tree
+}
+
+// Install a Rails application's dependencies, including phusion
+// passenger.
 type installPassenger struct {
        src     string
-       depends []bootTask
+       depends []supervisedTask
 }
 
 func (runner installPassenger) String() string {
-       return "install " + runner.src
+       return "installPassenger:" + runner.src
 }
 
-func (runner installPassenger) Run(ctx context.Context, fail func(error), boot *Booter) error {
-       err := boot.wait(ctx, runner.depends...)
+func (runner installPassenger) Run(ctx context.Context, fail func(error), super *Supervisor) error {
+       err := super.wait(ctx, runner.depends...)
        if err != nil {
                return err
        }
+
+       passengerInstallMutex.Lock()
+       defer passengerInstallMutex.Unlock()
+
        var buf bytes.Buffer
-       err = boot.RunProgram(ctx, runner.src, &buf, nil, "gem", "list", "--details", "bundler")
+       err = super.RunProgram(ctx, runner.src, &buf, nil, "gem", "list", "--details", "bundler")
        if err != nil {
                return err
        }
        for _, version := range []string{"1.11.0", "1.17.3", "2.0.2"} {
                if !strings.Contains(buf.String(), "("+version+")") {
-                       err = boot.RunProgram(ctx, runner.src, nil, nil, "gem", "install", "--user", "bundler:1.11", "bundler:1.17.3", "bundler:2.0.2")
+                       err = super.RunProgram(ctx, runner.src, nil, nil, "gem", "install", "--user", "bundler:1.11", "bundler:1.17.3", "bundler:2.0.2")
                        if err != nil {
                                return err
                        }
                        break
                }
        }
-       err = boot.RunProgram(ctx, runner.src, nil, nil, "bundle", "install", "--jobs", "4", "--path", filepath.Join(os.Getenv("HOME"), ".gem"))
+       err = super.RunProgram(ctx, runner.src, nil, nil, "bundle", "install", "--jobs", "4", "--path", filepath.Join(os.Getenv("HOME"), ".gem"))
        if err != nil {
                return err
        }
-       err = boot.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "build-native-support")
+       err = super.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "build-native-support")
        if err != nil {
                return err
        }
-       err = boot.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "install-standalone-runtime")
+       err = super.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "install-standalone-runtime")
        if err != nil {
                return err
        }
-       err = boot.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "validate-install")
-       if err != nil {
+       err = super.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger-config", "validate-install")
+       if err != nil && !strings.Contains(err.Error(), "exit status 2") {
+               // Exit code 2 indicates there were warnings (like
+               // "other passenger installations have been detected",
+               // which we can't expect to avoid) but no errors.
+               // Other non-zero exit codes (1, 9) indicate errors.
                return err
        }
        return nil
@@ -65,26 +85,45 @@ func (runner installPassenger) Run(ctx context.Context, fail func(error), boot *
 type runPassenger struct {
        src     string
        svc     arvados.Service
-       depends []bootTask
+       depends []supervisedTask
 }
 
 func (runner runPassenger) String() string {
-       _, basename := filepath.Split(runner.src)
-       return basename
+       return "runPassenger:" + runner.src
 }
 
-func (runner runPassenger) Run(ctx context.Context, fail func(error), boot *Booter) error {
-       err := boot.wait(ctx, runner.depends...)
+func (runner runPassenger) Run(ctx context.Context, fail func(error), super *Supervisor) error {
+       err := super.wait(ctx, runner.depends...)
        if err != nil {
                return err
        }
        port, err := internalPort(runner.svc)
        if err != nil {
-               return fmt.Errorf("bug: no InternalURLs for component %q: %v", runner, runner.svc.InternalURLs)
+               return fmt.Errorf("bug: no internalPort for %q: %v (%#v)", runner, err, runner.svc)
        }
-       err = boot.RunProgram(ctx, runner.src, nil, nil, "bundle", "exec", "passenger", "start", "-p", port)
-       if err != nil {
-               return err
+       loglevel := "4"
+       if lvl, ok := map[string]string{
+               "debug":   "5",
+               "info":    "4",
+               "warn":    "2",
+               "warning": "2",
+               "error":   "1",
+               "fatal":   "0",
+               "panic":   "0",
+       }[super.cluster.SystemLogs.LogLevel]; ok {
+               loglevel = lvl
        }
+       super.waitShutdown.Add(1)
+       go func() {
+               defer super.waitShutdown.Done()
+               err = super.RunProgram(ctx, runner.src, nil, railsEnv, "bundle", "exec",
+                       "passenger", "start",
+                       "-p", port,
+                       "--log-file", "/dev/stderr",
+                       "--log-level", loglevel,
+                       "--no-friendly-error-pages",
+                       "--pid-file", filepath.Join(super.tempdir, "passenger."+strings.Replace(runner.src, "/", "_", -1)+".pid"))
+               fail(err)
+       }()
        return nil
 }