tools/arv-sync-groups/arv-sync-groups.go

   1 // Copyright (C) The Arvados Authors. All rights reserved.
   2 //
   3 // SPDX-License-Identifier: AGPL-3.0
   4
   5 package main
   6
   7 import (
   8         "bytes"
   9         "encoding/csv"
  10         "encoding/json"
  11         "flag"
  12         "fmt"
  13         "io"
  14         "log"
  15         "net/url"
  16         "os"
  17         "strings"
  18
  19         "git.curoverse.com/arvados.git/sdk/go/arvados"
  20 )
  21
  22 // const remoteGroupParentName string = "Externally synchronized groups"
  23
  24 type resourceList interface {
  25         Len() int
  26         GetItems() []interface{}
  27 }
  28
  29 // GroupInfo tracks previous and current members of a particular Group
  30 type GroupInfo struct {
  31         Group           arvados.Group
  32         PreviousMembers map[string]bool
  33         CurrentMembers  map[string]bool
  34 }
  35
  36 // GetUserID returns the correct user id value depending on the selector
  37 func GetUserID(u arvados.User, idSelector string) (string, error) {
  38         switch idSelector {
  39         case "email":
  40                 return u.Email, nil
  41         case "username":
  42                 return u.Username, nil
  43         default:
  44                 return "", fmt.Errorf("cannot identify user by %q selector", idSelector)
  45         }
  46 }
  47
  48 // UserList implements resourceList interface
  49 type UserList struct {
  50         arvados.UserList
  51 }
  52
  53 // Len returns the amount of items this list holds
  54 func (l UserList) Len() int {
  55         return len(l.Items)
  56 }
  57
  58 // GetItems returns the list of items
  59 func (l UserList) GetItems() (out []interface{}) {
  60         for _, item := range l.Items {
  61                 out = append(out, item)
  62         }
  63         return
  64 }
  65
  66 // GroupList implements resourceList interface
  67 type GroupList struct {
  68         arvados.GroupList
  69 }
  70
  71 // Len returns the amount of items this list holds
  72 func (l GroupList) Len() int {
  73         return len(l.Items)
  74 }
  75
  76 // GetItems returns the list of items
  77 func (l GroupList) GetItems() (out []interface{}) {
  78         for _, item := range l.Items {
  79                 out = append(out, item)
  80         }
  81         return
  82 }
  83
  84 // Link is an arvados#link record
  85 type Link struct {
  86         UUID      string `json:"uuid,omiempty"`
  87         OwnerUUID string `json:"owner_uuid,omitempty"`
  88         Name      string `json:"name,omitempty"`
  89         LinkClass string `json:"link_class,omitempty"`
  90         HeadUUID  string `json:"head_uuid,omitempty"`
  91         HeadKind  string `json:"head_kind,omitempty"`
  92         TailUUID  string `json:"tail_uuid,omitempty"`
  93         TailKind  string `json:"tail_kind,omitempty"`
  94 }
  95
  96 // LinkList implements resourceList interface
  97 type LinkList struct {
  98         Items []Link `json:"items"`
  99 }
 100
 101 // Len returns the amount of items this list holds
 102 func (l LinkList) Len() int {
 103         return len(l.Items)
 104 }
 105
 106 // GetItems returns the list of items
 107 func (l LinkList) GetItems() (out []interface{}) {
 108         for _, item := range l.Items {
 109                 out = append(out, item)
 110         }
 111         return
 112 }
 113
 114 func main() {
 115         if err := doMain(); err != nil {
 116                 log.Fatalf("%v", err)
 117         }
 118 }
 119
 120 // ConfigParams holds configuration data for this tool
 121 type ConfigParams struct {
 122         Path            string
 123         UserID          string
 124         Verbose         bool
 125         ParentGroupUUID string
 126         ParentGroupName string
 127         SysUserUUID     string
 128         Client          *arvados.Client
 129 }
 130
 131 // ParseFlags parses and validates command line arguments
 132 func ParseFlags(config *ConfigParams) error {
 133         // Acceptable attributes to identify a user on the CSV file
 134         userIDOpts := map[string]bool{
 135                 "email":    true, // default
 136                 "username": true,
 137         }
 138         flags := flag.NewFlagSet("arv-sync-groups", flag.ExitOnError)
 139         srcPath := flags.String(
 140                 "path",
 141                 "",
 142                 "Local file path containing a CSV format: GroupName,UserID")
 143         userID := flags.String(
 144                 "user-id",
 145                 "email",
 146                 "Attribute by which every user is identified. Valid values are: email and username.")
 147         verbose := flags.Bool(
 148                 "verbose",
 149                 false,
 150                 "Log informational messages. Off by default.")
 151         parentGroupUUID := flags.String(
 152                 "parent-group-uuid",
 153                 "",
 154                 "Use given group UUID as a parent for the remote groups. Should be owned by the system user. If not specified, a group named '"+config.ParentGroupName+"' will be used (and created if nonexistant).")
 155
 156         // Parse args; omit the first arg which is the command name
 157         flags.Parse(os.Args[1:])
 158
 159         // Validations
 160         if *srcPath == "" {
 161                 return fmt.Errorf("please provide a path to an input file")
 162         }
 163         if !userIDOpts[*userID] {
 164                 var options []string
 165                 for opt := range userIDOpts {
 166                         options = append(options, opt)
 167                 }
 168                 return fmt.Errorf("user ID must be one of: %s", strings.Join(options, ", "))
 169         }
 170
 171         config.Path = *srcPath
 172         config.ParentGroupUUID = *parentGroupUUID
 173         config.UserID = *userID
 174         config.Verbose = *verbose
 175
 176         return nil
 177 }
 178
 179 // SetParentGroup finds/create parent group of all remote groups
 180 func SetParentGroup(cfg *ConfigParams) error {
 181         var parentGroup arvados.Group
 182         if cfg.ParentGroupUUID == "" {
 183                 // UUID not provided, search for preexisting parent group
 184                 var gl GroupList
 185                 params := arvados.ResourceListParams{
 186                         Filters: []arvados.Filter{{
 187                                 Attr:     "name",
 188                                 Operator: "=",
 189                                 Operand:  cfg.ParentGroupName,
 190                         }, {
 191                                 Attr:     "owner_uuid",
 192                                 Operator: "=",
 193                                 Operand:  cfg.SysUserUUID,
 194                         }},
 195                 }
 196                 if err := cfg.Client.RequestAndDecode(&gl, "GET", "/arvados/v1/groups", nil, params); err != nil {
 197                         return fmt.Errorf("error searching for parent group: %s", err)
 198                 }
 199                 if len(gl.Items) == 0 {
 200                         // Default parent group not existant, create one.
 201                         if cfg.Verbose {
 202                                 log.Println("Default parent group not found, creating...")
 203                         }
 204                         groupData := map[string]string{
 205                                 "name":       cfg.ParentGroupName,
 206                                 "owner_uuid": cfg.SysUserUUID,
 207                         }
 208                         if err := cfg.Client.RequestAndDecode(&parentGroup, "POST", "/arvados/v1/groups", jsonReader("group", groupData), nil); err != nil {
 209                                 return fmt.Errorf("error creating system user owned group named %q: %s", groupData["name"], err)
 210                         }
 211                 } else if len(gl.Items) == 1 {
 212                         // Default parent group found.
 213                         parentGroup = gl.Items[0]
 214                 } else {
 215                         // This should never happen, as there's an unique index for
 216                         // (owner_uuid, name) on groups.
 217                         return fmt.Errorf("bug: found %d groups owned by system user and named %q", len(gl.Items), cfg.ParentGroupName)
 218                 }
 219                 cfg.ParentGroupUUID = parentGroup.UUID
 220         } else {
 221                 // UUID provided. Check if exists and if it's owned by system user
 222                 if err := cfg.Client.RequestAndDecode(&parentGroup, "GET", "/arvados/v1/groups/"+cfg.ParentGroupUUID, nil, nil); err != nil {
 223                         return fmt.Errorf("error searching for parent group with UUID %q: %s", cfg.ParentGroupUUID, err)
 224                 }
 225                 if parentGroup.OwnerUUID != cfg.SysUserUUID {
 226                         return fmt.Errorf("parent group %q (%s) must be owned by system user", parentGroup.Name, cfg.ParentGroupUUID)
 227                 }
 228         }
 229         return nil
 230 }
 231
 232 // GetConfig sets up a ConfigParams struct
 233 func GetConfig() (config ConfigParams, err error) {
 234         config.ParentGroupName = "Externally synchronized groups"
 235
 236         // Command arguments
 237         err = ParseFlags(&config)
 238         if err != nil {
 239                 return config, err
 240         }
 241
 242         // Arvados Client setup
 243         config.Client = arvados.NewClientFromEnv()
 244
 245         // Check current user permissions & get System user's UUID
 246         u, err := config.Client.CurrentUser()
 247         if err != nil {
 248                 return config, fmt.Errorf("error getting the current user: %s", err)
 249         }
 250         if !u.IsActive || !u.IsAdmin {
 251                 return config, fmt.Errorf("current user (%s) is not an active admin user", u.UUID)
 252         }
 253         config.SysUserUUID = u.UUID[:12] + "000000000000000"
 254
 255         // Set up remote groups' parent
 256         if err = SetParentGroup(&config); err != nil {
 257                 return config, err
 258         }
 259
 260         return config, nil
 261 }
 262
 263 func doMain() error {
 264         // Parse & validate arguments, set up arvados client.
 265         cfg, err := GetConfig()
 266         if err != nil {
 267                 return err
 268         }
 269
 270         // Try opening the input file early, just in case there's a problem.
 271         f, err := os.Open(cfg.Path)
 272         if err != nil {
 273                 return fmt.Errorf("%s", err)
 274         }
 275         defer f.Close()
 276
 277         log.Printf("Group sync starting. Using %q as users id and parent group UUID %q", cfg.UserID, cfg.ParentGroupUUID)
 278
 279         // Get the complete user list to minimize API Server requests
 280         allUsers := make(map[string]arvados.User)
 281         userIDToUUID := make(map[string]string) // Index by email or username
 282         results, err := GetAll(cfg.Client, "users", arvados.ResourceListParams{}, &UserList{})
 283         if err != nil {
 284                 return fmt.Errorf("error getting user list: %s", err)
 285         }
 286         log.Printf("Found %d users", len(results))
 287         for _, item := range results {
 288                 u := item.(arvados.User)
 289                 allUsers[u.UUID] = u
 290                 uID, err := GetUserID(u, cfg.UserID)
 291                 if err != nil {
 292                         return err
 293                 }
 294                 userIDToUUID[uID] = u.UUID
 295                 if cfg.Verbose {
 296                         log.Printf("Seen user %q (%s)", u.Username, u.Email)
 297                 }
 298         }
 299
 300         // Get remote groups and their members
 301         remoteGroups, groupNameToUUID, err := GetRemoteGroups(&cfg, allUsers)
 302         if err != nil {
 303                 return err
 304         }
 305         log.Printf("Found %d remote groups", len(remoteGroups))
 306
 307         groupsCreated := 0
 308         membershipsAdded := 0
 309         membershipsRemoved := 0
 310         membershipsSkipped := 0
 311
 312         // Read the CSV file
 313         csvReader := csv.NewReader(f)
 314         for {
 315                 record, err := csvReader.Read()
 316                 if err == io.EOF {
 317                         break
 318                 }
 319                 if err != nil {
 320                         return fmt.Errorf("error reading %q: %s", cfg.Path, err)
 321                 }
 322                 groupName := strings.TrimSpace(record[0])
 323                 groupMember := strings.TrimSpace(record[1]) // User ID (username or email)
 324                 if groupName == "" || groupMember == "" {
 325                         log.Printf("Warning: CSV record has at least one empty field (%s, %s). Skipping", groupName, groupMember)
 326                         membershipsSkipped++
 327                         continue
 328                 }
 329                 if _, found := userIDToUUID[groupMember]; !found {
 330                         // User not present on the system, skip.
 331                         log.Printf("Warning: there's no user with %s %q on the system, skipping.", cfg.UserID, groupMember)
 332                         membershipsSkipped++
 333                         continue
 334                 }
 335                 if _, found := groupNameToUUID[groupName]; !found {
 336                         // Group doesn't exist, create it before continuing
 337                         if cfg.Verbose {
 338                                 log.Printf("Remote group %q not found, creating...", groupName)
 339                         }
 340                         var newGroup arvados.Group
 341                         groupData := map[string]string{
 342                                 "name":       groupName,
 343                                 "owner_uuid": cfg.ParentGroupUUID,
 344                         }
 345                         if err := cfg.Client.RequestAndDecode(&newGroup, "POST", "/arvados/v1/groups", jsonReader("group", groupData), nil); err != nil {
 346                                 return fmt.Errorf("error creating group named %q: %s", groupName, err)
 347                         }
 348                         // Update cached group data
 349                         groupNameToUUID[groupName] = newGroup.UUID
 350                         remoteGroups[newGroup.UUID] = &GroupInfo{
 351                                 Group:           newGroup,
 352                                 PreviousMembers: make(map[string]bool), // Empty set
 353                                 CurrentMembers:  make(map[string]bool), // Empty set
 354                         }
 355                         groupsCreated++
 356                 }
 357                 // Both group & user exist, check if user is a member
 358                 groupUUID := groupNameToUUID[groupName]
 359                 gi := remoteGroups[groupUUID]
 360                 if !gi.PreviousMembers[groupMember] && !gi.CurrentMembers[groupMember] {
 361                         if cfg.Verbose {
 362                                 log.Printf("Adding %q to group %q", groupMember, groupName)
 363                         }
 364                         // User wasn't a member, but should be.
 365                         var newLink Link
 366                         linkData := map[string]string{
 367                                 "owner_uuid": cfg.SysUserUUID,
 368                                 "link_class": "permission",
 369                                 "name":       "can_read",
 370                                 "tail_uuid":  groupUUID,
 371                                 "head_uuid":  userIDToUUID[groupMember],
 372                         }
 373                         if err := cfg.Client.RequestAndDecode(&newLink, "POST", "/arvados/v1/links", jsonReader("link", linkData), nil); err != nil {
 374                                 return fmt.Errorf("error adding group %q -> user %q read permission: %s", groupName, groupMember, err)
 375                         }
 376                         linkData = map[string]string{
 377                                 "owner_uuid": cfg.SysUserUUID,
 378                                 "link_class": "permission",
 379                                 "name":       "manage",
 380                                 "tail_uuid":  userIDToUUID[groupMember],
 381                                 "head_uuid":  groupUUID,
 382                         }
 383                         if err = cfg.Client.RequestAndDecode(&newLink, "POST", "/arvados/v1/links", jsonReader("link", linkData), nil); err != nil {
 384                                 return fmt.Errorf("error adding user %q -> group %q manage permission: %s", groupMember, groupName, err)
 385                         }
 386                         membershipsAdded++
 387                 }
 388                 gi.CurrentMembers[groupMember] = true
 389         }
 390
 391         // Remove previous members not listed on this run
 392         for groupUUID := range remoteGroups {
 393                 gi := remoteGroups[groupUUID]
 394                 evictedMembers := subtract(gi.PreviousMembers, gi.CurrentMembers)
 395                 groupName := gi.Group.Name
 396                 if len(evictedMembers) > 0 {
 397                         log.Printf("Removing %d users from group %q", len(evictedMembers), groupName)
 398                 }
 399                 for evictedUser := range evictedMembers {
 400                         if err := RemoveMemberFromGroup(&cfg, allUsers[evictedUser], gi.Group); err != nil {
 401                                 return err
 402                         }
 403                         membershipsRemoved++
 404                 }
 405         }
 406         log.Printf("Groups created: %d. Memberships added: %d, removed: %d, skipped: %d", groupsCreated, membershipsAdded, membershipsRemoved, membershipsSkipped)
 407
 408         return nil
 409 }
 410
 411 // GetAll : Adds all objects of type 'resource' to the 'allItems' list
 412 func GetAll(c *arvados.Client, res string, params arvados.ResourceListParams, page resourceList) (allItems []interface{}, err error) {
 413         // Use the maximum page size the server allows
 414         limit := 1<<31 - 1
 415         params.Limit = &limit
 416         params.Offset = 0
 417         params.Order = "uuid"
 418         for {
 419                 if err = c.RequestAndDecode(&page, "GET", "/arvados/v1/"+res, nil, params); err != nil {
 420                         return allItems, err
 421                 }
 422                 // Have we finished paging?
 423                 if page.Len() == 0 {
 424                         break
 425                 }
 426                 for _, i := range page.GetItems() {
 427                         allItems = append(allItems, i)
 428                 }
 429                 params.Offset += page.Len()
 430         }
 431         return allItems, nil
 432 }
 433
 434 func subtract(setA map[string]bool, setB map[string]bool) map[string]bool {
 435         result := make(map[string]bool)
 436         for element := range setA {
 437                 if !setB[element] {
 438                         result[element] = true
 439                 }
 440         }
 441         return result
 442 }
 443
 444 func jsonReader(rscName string, ob interface{}) io.Reader {
 445         j, err := json.Marshal(ob)
 446         if err != nil {
 447                 panic(err)
 448         }
 449         v := url.Values{}
 450         v[rscName] = []string{string(j)}
 451         return bytes.NewBufferString(v.Encode())
 452 }
 453
 454 // GetRemoteGroups fetches all remote groups with their members
 455 func GetRemoteGroups(cfg *ConfigParams, allUsers map[string]arvados.User) (remoteGroups map[string]*GroupInfo, groupNameToUUID map[string]string, err error) {
 456         remoteGroups = make(map[string]*GroupInfo)
 457         groupNameToUUID = make(map[string]string) // Index by group name
 458
 459         params := arvados.ResourceListParams{
 460                 Filters: []arvados.Filter{{
 461                         Attr:     "owner_uuid",
 462                         Operator: "=",
 463                         Operand:  cfg.ParentGroupUUID,
 464                 }},
 465         }
 466         results, err := GetAll(cfg.Client, "groups", params, &GroupList{})
 467         if err != nil {
 468                 return remoteGroups, groupNameToUUID, fmt.Errorf("error getting remote groups: %s", err)
 469         }
 470         for _, item := range results {
 471                 group := item.(arvados.Group)
 472                 // Group -> User filter
 473                 g2uFilter := arvados.ResourceListParams{
 474                         Filters: []arvados.Filter{{
 475                                 Attr:     "owner_uuid",
 476                                 Operator: "=",
 477                                 Operand:  cfg.SysUserUUID,
 478                         }, {
 479                                 Attr:     "link_class",
 480                                 Operator: "=",
 481                                 Operand:  "permission",
 482                         }, {
 483                                 Attr:     "name",
 484                                 Operator: "=",
 485                                 Operand:  "can_read",
 486                         }, {
 487                                 Attr:     "tail_uuid",
 488                                 Operator: "=",
 489                                 Operand:  group.UUID,
 490                         }, {
 491                                 Attr:     "head_kind",
 492                                 Operator: "=",
 493                                 Operand:  "arvados#user",
 494                         }},
 495                 }
 496                 // User -> Group filter
 497                 u2gFilter := arvados.ResourceListParams{
 498                         Filters: []arvados.Filter{{
 499                                 Attr:     "owner_uuid",
 500                                 Operator: "=",
 501                                 Operand:  cfg.SysUserUUID,
 502                         }, {
 503                                 Attr:     "link_class",
 504                                 Operator: "=",
 505                                 Operand:  "permission",
 506                         }, {
 507                                 Attr:     "name",
 508                                 Operator: "=",
 509                                 Operand:  "manage",
 510                         }, {
 511                                 Attr:     "head_uuid",
 512                                 Operator: "=",
 513                                 Operand:  group.UUID,
 514                         }, {
 515                                 Attr:     "tail_kind",
 516                                 Operator: "=",
 517                                 Operand:  "arvados#user",
 518                         }},
 519                 }
 520                 g2uLinks, err := GetAll(cfg.Client, "links", g2uFilter, &LinkList{})
 521                 if err != nil {
 522                         return remoteGroups, groupNameToUUID, fmt.Errorf("error getting member (can_read) links for group %q: %s", group.Name, err)
 523                 }
 524                 u2gLinks, err := GetAll(cfg.Client, "links", u2gFilter, &LinkList{})
 525                 if err != nil {
 526                         return remoteGroups, groupNameToUUID, fmt.Errorf("error getting member (manage) links for group %q: %s", group.Name, err)
 527                 }
 528                 // Build a list of user ids (email or username) belonging to this group
 529                 membersSet := make(map[string]bool)
 530                 u2gLinkSet := make(map[string]bool)
 531                 for _, l := range u2gLinks {
 532                         linkedMemberUUID := l.(Link).TailUUID
 533                         u2gLinkSet[linkedMemberUUID] = true
 534                 }
 535                 for _, item := range g2uLinks {
 536                         link := item.(Link)
 537                         // We may have received an old link pointing to a removed account.
 538                         if _, found := allUsers[link.HeadUUID]; !found {
 539                                 continue
 540                         }
 541                         // The matching User -> Group link may not exist if the link
 542                         // creation failed on a previous run. If that's the case, don't
 543                         // include this account on the "previous members" list.
 544                         if _, found := u2gLinkSet[link.HeadUUID]; !found {
 545                                 continue
 546                         }
 547                         memberID, err := GetUserID(allUsers[link.HeadUUID], cfg.UserID)
 548                         if err != nil {
 549                                 return remoteGroups, groupNameToUUID, err
 550                         }
 551                         membersSet[memberID] = true
 552                 }
 553                 remoteGroups[group.UUID] = &GroupInfo{
 554                         Group:           group,
 555                         PreviousMembers: membersSet,
 556                         CurrentMembers:  make(map[string]bool), // Empty set
 557                 }
 558                 groupNameToUUID[group.Name] = group.UUID
 559         }
 560         return remoteGroups, groupNameToUUID, nil
 561 }
 562
 563 // RemoveMemberFromGroup remove all links related to the membership
 564 func RemoveMemberFromGroup(cfg *ConfigParams, user arvados.User, group arvados.Group) error {
 565         if cfg.Verbose {
 566                 log.Printf("Getting group membership links for user %q (%s) on group %q (%s)", user.Email, user.UUID, group.Name, group.UUID)
 567         }
 568         var links []interface{}
 569         // Search for all group<->user links (both ways)
 570         for _, filterset := range [][]arvados.Filter{
 571                 // Group -> User
 572                 {{
 573                         Attr:     "link_class",
 574                         Operator: "=",
 575                         Operand:  "permission",
 576                 }, {
 577                         Attr:     "tail_uuid",
 578                         Operator: "=",
 579                         Operand:  group.UUID,
 580                 }, {
 581                         Attr:     "head_uuid",
 582                         Operator: "=",
 583                         Operand:  user.UUID,
 584                 }},
 585                 // Group <- User
 586                 {{
 587                         Attr:     "link_class",
 588                         Operator: "=",
 589                         Operand:  "permission",
 590                 }, {
 591                         Attr:     "tail_uuid",
 592                         Operator: "=",
 593                         Operand:  user.UUID,
 594                 }, {
 595                         Attr:     "head_uuid",
 596                         Operator: "=",
 597                         Operand:  group.UUID,
 598                 }},
 599         } {
 600                 l, err := GetAll(cfg.Client, "links", arvados.ResourceListParams{Filters: filterset}, &LinkList{})
 601                 if err != nil {
 602                         return fmt.Errorf("error getting links needed to remove user %q from group %q: %s", user.Email, group.Name, err)
 603                 }
 604                 for _, link := range l {
 605                         links = append(links, link)
 606                 }
 607         }
 608         for _, item := range links {
 609                 link := item.(Link)
 610                 if cfg.Verbose {
 611                         log.Printf("Removing permission link for %q on group %q", user.Email, group.Name)
 612                 }
 613                 if err := cfg.Client.RequestAndDecode(&link, "DELETE", "/arvados/v1/links/"+link.UUID, nil, nil); err != nil {
 614                         return fmt.Errorf("error removing user %q from group %q: %s", user.Email, group.Name, err)
 615                 }
 616         }
 617         return nil
 618 }