services/crunch-run/background.go

   1 // Copyright (C) The Arvados Authors. All rights reserved.
   2 //
   3 // SPDX-License-Identifier: AGPL-3.0
   4
   5 package main
   6
   7 import (
   8         "encoding/json"
   9         "fmt"
  10         "io"
  11         "io/ioutil"
  12         "os"
  13         "os/exec"
  14         "path/filepath"
  15         "strings"
  16         "syscall"
  17         "time"
  18 )
  19
  20 var (
  21         lockdir    = "/var/lock"
  22         lockprefix = "crunch-run-"
  23         locksuffix = ".lock"
  24 )
  25
  26 // procinfo is saved in each process's lockfile.
  27 type procinfo struct {
  28         UUID   string
  29         PID    int
  30         Stdout string
  31         Stderr string
  32 }
  33
  34 // Detach acquires a lock for the given uuid, and starts the current
  35 // program as a child process (with -detached prepended to the given
  36 // arguments so the child knows not to detach again). The lock is
  37 // passed along to the child process.
  38 func Detach(uuid string, args []string, stdout, stderr io.Writer) int {
  39         return exitcode(stderr, detach(uuid, args, stdout, stderr))
  40 }
  41 func detach(uuid string, args []string, stdout, stderr io.Writer) error {
  42         lockfile, err := os.OpenFile(filepath.Join(lockdir, lockprefix+uuid+locksuffix), os.O_CREATE|os.O_RDWR, 0700)
  43         if err != nil {
  44                 return err
  45         }
  46         defer lockfile.Close()
  47         err = syscall.Flock(int(lockfile.Fd()), syscall.LOCK_EX|syscall.LOCK_NB)
  48         if err != nil {
  49                 return err
  50         }
  51         lockfile.Truncate(0)
  52
  53         outfile, err := ioutil.TempFile("", "crunch-run-"+uuid+"-stdout-")
  54         if err != nil {
  55                 return err
  56         }
  57         defer outfile.Close()
  58         errfile, err := ioutil.TempFile("", "crunch-run-"+uuid+"-stderr-")
  59         if err != nil {
  60                 os.Remove(outfile.Name())
  61                 return err
  62         }
  63         defer errfile.Close()
  64
  65         cmd := exec.Command(args[0], append([]string{"-detached"}, args[1:]...)...)
  66         cmd.Stdout = outfile
  67         cmd.Stderr = errfile
  68         // Child inherits lockfile.
  69         cmd.ExtraFiles = []*os.File{lockfile}
  70         // Ensure child isn't interrupted even if we receive signals
  71         // from parent (sshd) while sending lockfile content to
  72         // caller.
  73         cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true}
  74         err = cmd.Start()
  75         if err != nil {
  76                 os.Remove(outfile.Name())
  77                 os.Remove(errfile.Name())
  78                 return err
  79         }
  80
  81         w := io.MultiWriter(stdout, lockfile)
  82         err = json.NewEncoder(w).Encode(procinfo{
  83                 PID:    cmd.Process.Pid,
  84                 Stdout: outfile.Name(),
  85                 Stderr: errfile.Name(),
  86         })
  87         if err != nil {
  88                 os.Remove(outfile.Name())
  89                 os.Remove(errfile.Name())
  90                 return err
  91         }
  92         return nil
  93 }
  94
  95 // KillProcess finds the crunch-run process corresponding to the given
  96 // uuid, and sends the given signal to it. It then waits up to 1
  97 // second for the process to die. It returns 0 if the process is
  98 // successfully killed or didn't exist in the first place.
  99 func KillProcess(uuid string, signal syscall.Signal, stdout, stderr io.Writer) int {
 100         return exitcode(stderr, kill(uuid, signal, stdout, stderr))
 101 }
 102
 103 func kill(uuid string, signal syscall.Signal, stdout, stderr io.Writer) error {
 104         path := filepath.Join(lockdir, lockprefix+uuid+locksuffix)
 105         f, err := os.Open(path)
 106         if os.IsNotExist(err) {
 107                 return nil
 108         } else if err != nil {
 109                 return err
 110         }
 111         defer f.Close()
 112
 113         var pi procinfo
 114         err = json.NewDecoder(f).Decode(&pi)
 115         if err != nil {
 116                 return fmt.Errorf("%s: %s\n", path, err)
 117         }
 118
 119         if pi.UUID != uuid || pi.PID == 0 {
 120                 return fmt.Errorf("%s: bogus procinfo: %+v", path, pi)
 121         }
 122
 123         proc, err := os.FindProcess(pi.PID)
 124         if err != nil {
 125                 return err
 126         }
 127
 128         err = proc.Signal(signal)
 129         for deadline := time.Now().Add(time.Second); err == nil && time.Now().Before(deadline); time.Sleep(time.Second / 100) {
 130                 err = proc.Signal(syscall.Signal(0))
 131         }
 132         if err == nil {
 133                 return fmt.Errorf("pid %d: sent signal %d (%s) but process is still alive", pi.PID, signal, signal)
 134         }
 135         fmt.Fprintf(stderr, "pid %d: %s\n", pi.PID, err)
 136         return nil
 137 }
 138
 139 // List UUIDs of active crunch-run processes.
 140 func ListProcesses(stdout, stderr io.Writer) int {
 141         return exitcode(stderr, filepath.Walk(lockdir, func(path string, info os.FileInfo, err error) error {
 142                 if info.IsDir() {
 143                         return filepath.SkipDir
 144                 }
 145                 if name := info.Name(); !strings.HasPrefix(name, lockprefix) || !strings.HasSuffix(name, locksuffix) {
 146                         return nil
 147                 }
 148                 if info.Size() == 0 {
 149                         // race: process has opened/locked but hasn't yet written pid/uuid
 150                         return nil
 151                 }
 152
 153                 f, err := os.Open(path)
 154                 if err != nil {
 155                         return nil
 156                 }
 157                 defer f.Close()
 158
 159                 // TODO: Do this check without risk of disrupting lock
 160                 // acquisition during races, e.g., by connecting to a
 161                 // unix socket or checking /proc/$pid/fd/$n ->
 162                 // lockfile.
 163                 err = syscall.Flock(int(f.Fd()), syscall.LOCK_SH)
 164                 if err == nil {
 165                         // lockfile is stale
 166                         err := os.Remove(path)
 167                         if err != nil {
 168                                 fmt.Fprintln(stderr, err)
 169                         }
 170                         return nil
 171                 }
 172
 173                 var pi procinfo
 174                 err = json.NewDecoder(f).Decode(&pi)
 175                 if err != nil {
 176                         fmt.Fprintf(stderr, "%s: %s\n", path, err)
 177                         return nil
 178                 }
 179                 if pi.UUID == "" || pi.PID == 0 {
 180                         fmt.Fprintf(stderr, "%s: bogus procinfo: %+v", path, pi)
 181                         return nil
 182                 }
 183
 184                 fmt.Fprintln(stdout, pi.UUID)
 185                 return nil
 186         }))
 187 }
 188
 189 // If err is nil, return 0 ("success"); otherwise, print err to stderr
 190 // and return 1.
 191 func exitcode(stderr io.Writer, err error) int {
 192         if err != nil {
 193                 fmt.Fprintln(stderr, err)
 194                 return 1
 195         }
 196         return 0
 197 }