Merge branch '16263-logincluster-user-list-fix' refs #16263
authorPeter Amstutz <peter.amstutz@curii.com>
Mon, 13 Apr 2020 14:42:47 +0000 (10:42 -0400)
committerPeter Amstutz <peter.amstutz@curii.com>
Mon, 13 Apr 2020 14:42:47 +0000 (10:42 -0400)
Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

1  2 
lib/controller/federation/conn.go
lib/controller/rpc/conn.go
sdk/go/arvados/api.go

index 3e37a5c618429833ea2874ac14cacc7d98b3efa9,10e1bc5f136d9d9d0ea05df6c37ad7b7f7a0d91f..418b6811beeb82d814c16603e50b694502372522
@@@ -344,85 -344,97 +344,97 @@@ func (conn *Conn) SpecimenDelete(ctx co
  }
  
  var userAttrsCachedFromLoginCluster = map[string]bool{
-       "created_at":              true,
-       "email":                   true,
-       "first_name":              true,
-       "is_active":               true,
-       "is_admin":                true,
-       "last_name":               true,
-       "modified_at":             true,
-       "modified_by_client_uuid": true,
-       "modified_by_user_uuid":   true,
-       "prefs":                   true,
-       "username":                true,
-       "etag":         false,
-       "full_name":    false,
-       "identity_url": false,
-       "is_invited":   false,
-       "owner_uuid":   false,
-       "uuid":         false,
-       "writable_by":  false,
- }
- func (conn *Conn) UserList(ctx context.Context, options arvados.ListOptions) (arvados.UserList, error) {
+       "created_at":  true,
+       "email":       true,
+       "first_name":  true,
+       "is_active":   true,
+       "is_admin":    true,
+       "last_name":   true,
+       "modified_at": true,
+       "prefs":       true,
+       "username":    true,
+       "etag":                    false,
+       "full_name":               false,
+       "identity_url":            false,
+       "is_invited":              false,
+       "modified_by_client_uuid": false,
+       "modified_by_user_uuid":   false,
+       "owner_uuid":              false,
+       "uuid":                    false,
+       "writable_by":             false,
+ }
+ func (conn *Conn) batchUpdateUsers(ctx context.Context,
+       options arvados.ListOptions,
+       items []arvados.User) (err error) {
+       id := conn.cluster.Login.LoginCluster
        logger := ctxlog.FromContext(ctx)
-       if id := conn.cluster.Login.LoginCluster; id != "" && id != conn.cluster.ClusterID {
-               resp, err := conn.chooseBackend(id).UserList(ctx, options)
-               if err != nil {
-                       return resp, err
+       batchOpts := arvados.UserBatchUpdateOptions{Updates: map[string]map[string]interface{}{}}
+       for _, user := range items {
+               if !strings.HasPrefix(user.UUID, id) {
+                       continue
+               }
+               logger.Debugf("cache user info for uuid %q", user.UUID)
+               // If the remote cluster has null timestamps
+               // (e.g., test server with incomplete
+               // fixtures) use dummy timestamps (instead of
+               // the zero time, which causes a Rails API
+               // error "year too big to marshal: 1 UTC").
+               if user.ModifiedAt.IsZero() {
+                       user.ModifiedAt = time.Now()
+               }
+               if user.CreatedAt.IsZero() {
+                       user.CreatedAt = time.Now()
                }
-               batchOpts := arvados.UserBatchUpdateOptions{Updates: map[string]map[string]interface{}{}}
-               for _, user := range resp.Items {
-                       if !strings.HasPrefix(user.UUID, id) {
-                               continue
-                       }
-                       logger.Debugf("cache user info for uuid %q", user.UUID)
-                       // If the remote cluster has null timestamps
-                       // (e.g., test server with incomplete
-                       // fixtures) use dummy timestamps (instead of
-                       // the zero time, which causes a Rails API
-                       // error "year too big to marshal: 1 UTC").
-                       if user.ModifiedAt.IsZero() {
-                               user.ModifiedAt = time.Now()
-                       }
-                       if user.CreatedAt.IsZero() {
-                               user.CreatedAt = time.Now()
-                       }
  
-                       var allFields map[string]interface{}
-                       buf, err := json.Marshal(user)
-                       if err != nil {
-                               return arvados.UserList{}, fmt.Errorf("error encoding user record from remote response: %s", err)
-                       }
-                       err = json.Unmarshal(buf, &allFields)
-                       if err != nil {
-                               return arvados.UserList{}, fmt.Errorf("error transcoding user record from remote response: %s", err)
-                       }
-                       updates := allFields
-                       if len(options.Select) > 0 {
-                               updates = map[string]interface{}{}
-                               for _, k := range options.Select {
-                                       if v, ok := allFields[k]; ok && userAttrsCachedFromLoginCluster[k] {
-                                               updates[k] = v
-                                       }
+               var allFields map[string]interface{}
+               buf, err := json.Marshal(user)
+               if err != nil {
+                       return fmt.Errorf("error encoding user record from remote response: %s", err)
+               }
+               err = json.Unmarshal(buf, &allFields)
+               if err != nil {
+                       return fmt.Errorf("error transcoding user record from remote response: %s", err)
+               }
+               updates := allFields
+               if len(options.Select) > 0 {
+                       updates = map[string]interface{}{}
+                       for _, k := range options.Select {
+                               if v, ok := allFields[k]; ok && userAttrsCachedFromLoginCluster[k] {
+                                       updates[k] = v
                                }
-                       } else {
-                               for k := range updates {
-                                       if !userAttrsCachedFromLoginCluster[k] {
-                                               delete(updates, k)
-                                       }
+                       }
+               } else {
+                       for k := range updates {
+                               if !userAttrsCachedFromLoginCluster[k] {
+                                       delete(updates, k)
                                }
                        }
-                       batchOpts.Updates[user.UUID] = updates
                }
-               if len(batchOpts.Updates) > 0 {
-                       ctxRoot := auth.NewContext(ctx, &auth.Credentials{Tokens: []string{conn.cluster.SystemRootToken}})
-                       _, err = conn.local.UserBatchUpdate(ctxRoot, batchOpts)
-                       if err != nil {
-                               return arvados.UserList{}, fmt.Errorf("error updating local user records: %s", err)
-                       }
+               batchOpts.Updates[user.UUID] = updates
+       }
+       if len(batchOpts.Updates) > 0 {
+               ctxRoot := auth.NewContext(ctx, &auth.Credentials{Tokens: []string{conn.cluster.SystemRootToken}})
+               _, err = conn.local.UserBatchUpdate(ctxRoot, batchOpts)
+               if err != nil {
+                       return fmt.Errorf("error updating local user records: %s", err)
+               }
+       }
+       return nil
+ }
+ func (conn *Conn) UserList(ctx context.Context, options arvados.ListOptions) (arvados.UserList, error) {
+       if id := conn.cluster.Login.LoginCluster; id != "" && id != conn.cluster.ClusterID && !options.BypassFederation {
+               resp, err := conn.chooseBackend(id).UserList(ctx, options)
+               if err != nil {
+                       return resp, err
+               }
+               err = conn.batchUpdateUsers(ctx, options, resp.Items)
+               if err != nil {
+                       return arvados.UserList{}, err
                }
                return resp, nil
        } else {
@@@ -435,15 -447,18 +447,18 @@@ func (conn *Conn) UserCreate(ctx contex
  }
  
  func (conn *Conn) UserUpdate(ctx context.Context, options arvados.UpdateOptions) (arvados.User, error) {
+       if options.BypassFederation {
+               return conn.local.UserUpdate(ctx, options)
+       }
        return conn.chooseBackend(options.UUID).UserUpdate(ctx, options)
  }
  
  func (conn *Conn) UserUpdateUUID(ctx context.Context, options arvados.UpdateUUIDOptions) (arvados.User, error) {
-       return conn.chooseBackend(options.UUID).UserUpdateUUID(ctx, options)
+       return conn.local.UserUpdateUUID(ctx, options)
  }
  
  func (conn *Conn) UserMerge(ctx context.Context, options arvados.UserMergeOptions) (arvados.User, error) {
-       return conn.chooseBackend(options.OldUserUUID).UserMerge(ctx, options)
+       return conn.local.UserMerge(ctx, options)
  }
  
  func (conn *Conn) UserActivate(ctx context.Context, options arvados.UserActivateOptions) (arvados.User, error) {
@@@ -478,10 -493,6 +493,10 @@@ func (conn *Conn) UserBatchUpdate(ctx c
        return conn.local.UserBatchUpdate(ctx, options)
  }
  
 +func (conn *Conn) UserAuthenticate(ctx context.Context, options arvados.UserAuthenticateOptions) (arvados.APIClientAuthorization, error) {
 +      return conn.local.UserAuthenticate(ctx, options)
 +}
 +
  func (conn *Conn) APIClientAuthorizationCurrent(ctx context.Context, options arvados.GetOptions) (arvados.APIClientAuthorization, error) {
        return conn.chooseBackend(options.UUID).APIClientAuthorizationCurrent(ctx, options)
  }
index c3c66d00a346d9cea1fc07c4add68766481986a1,b5c56dbc4d64897e4f44bbdbdc9c44f2f7931f56..729d8bdde09e7ee05d2766ef0a4d1ee72f01a8d1
@@@ -5,6 -5,7 +5,7 @@@
  package rpc
  
  import (
+       "bytes"
        "context"
        "crypto/tls"
        "encoding/json"
@@@ -14,6 -15,7 +15,7 @@@
        "net"
        "net/http"
        "net/url"
+       "strconv"
        "strings"
        "time"
  
@@@ -100,19 -102,23 +102,23 @@@ func (conn *Conn) requestAndDecode(ctx 
                return fmt.Errorf("%T: requestAndDecode: Marshal opts: %s", conn, err)
        }
        var params map[string]interface{}
-       err = json.Unmarshal(j, &params)
+       dec := json.NewDecoder(bytes.NewBuffer(j))
+       dec.UseNumber()
+       err = dec.Decode(&params)
        if err != nil {
-               return fmt.Errorf("%T: requestAndDecode: Unmarshal opts: %s", conn, err)
+               return fmt.Errorf("%T: requestAndDecode: Decode opts: %s", conn, err)
        }
        if attrs, ok := params["attrs"]; ok && ep.AttrsKey != "" {
                params[ep.AttrsKey] = attrs
                delete(params, "attrs")
        }
-       if limit, ok := params["limit"].(float64); ok && limit < 0 {
-               // Negative limit means "not specified" here, but some
-               // servers/versions do not accept that, so we need to
-               // remove it entirely.
-               delete(params, "limit")
+       if limitStr, ok := params["limit"]; ok {
+               if limit, err := strconv.ParseInt(string(limitStr.(json.Number)), 10, 64); err == nil && limit < 0 {
+                       // Negative limit means "not specified" here, but some
+                       // servers/versions do not accept that, so we need to
+                       // remove it entirely.
+                       delete(params, "limit")
+               }
        }
        if len(tokens) > 1 {
                params["reader_tokens"] = tokens[1:]
@@@ -417,15 -423,8 +423,15 @@@ func (conn *Conn) UserSessionCreate(ct
  }
  
  func (conn *Conn) UserBatchUpdate(ctx context.Context, options arvados.UserBatchUpdateOptions) (arvados.UserList, error) {
 -      ep := arvados.APIEndpoint{Method: "PATCH", Path: "arvados/v1/users/batch_update"}
 +      ep := arvados.EndpointUserBatchUpdate
        var resp arvados.UserList
        err := conn.requestAndDecode(ctx, &resp, ep, nil, options)
        return resp, err
  }
 +
 +func (conn *Conn) UserAuthenticate(ctx context.Context, options arvados.UserAuthenticateOptions) (arvados.APIClientAuthorization, error) {
 +      ep := arvados.EndpointUserAuthenticate
 +      var resp arvados.APIClientAuthorization
 +      err := conn.requestAndDecode(ctx, &resp, ep, nil, options)
 +      return resp, err
 +}
diff --combined sdk/go/arvados/api.go
index ae74d079ad3de964bf69932d790ccdb6b3065683,e60108335163714717c2fa8c9d0ed7760c0bc303..c32f88864f88750c00fe896286e147ccd9d061ce
@@@ -55,17 -55,16 +55,17 @@@ var 
        EndpointUserUnsetup                   = APIEndpoint{"POST", "arvados/v1/users/{uuid}/unsetup", ""}
        EndpointUserUpdate                    = APIEndpoint{"PATCH", "arvados/v1/users/{uuid}", "user"}
        EndpointUserUpdateUUID                = APIEndpoint{"POST", "arvados/v1/users/{uuid}/update_uuid", ""}
 -      EndpointUserBatchUpdate               = APIEndpoint{"PATCH", "arvados/v1/users/batch", ""}
 +      EndpointUserBatchUpdate               = APIEndpoint{"PATCH", "arvados/v1/users/batch_update", ""}
 +      EndpointUserAuthenticate              = APIEndpoint{"POST", "arvados/v1/users/authenticate", ""}
        EndpointAPIClientAuthorizationCurrent = APIEndpoint{"GET", "arvados/v1/api_client_authorizations/current", ""}
  )
  
  type GetOptions struct {
-       UUID         string   `json:"uuid"`
+       UUID         string   `json:"uuid,omitempty"`
        Select       []string `json:"select"`
        IncludeTrash bool     `json:"include_trash"`
-       ForwardedFor string   `json:"forwarded_for"`
-       Remote       string   `json:"remote"`
+       ForwardedFor string   `json:"forwarded_for,omitempty"`
+       Remote       string   `json:"remote,omitempty"`
  }
  
  type UntrashOptions struct {
@@@ -78,13 -77,14 +78,14 @@@ type ListOptions struct 
        Select             []string               `json:"select"`
        Filters            []Filter               `json:"filters"`
        Where              map[string]interface{} `json:"where"`
-       Limit              int                    `json:"limit"`
-       Offset             int                    `json:"offset"`
+       Limit              int64                  `json:"limit"`
+       Offset             int64                  `json:"offset"`
        Order              []string               `json:"order"`
        Distinct           bool                   `json:"distinct"`
        Count              string                 `json:"count"`
        IncludeTrash       bool                   `json:"include_trash"`
        IncludeOldVersions bool                   `json:"include_old_versions"`
+       BypassFederation   bool                   `json:"bypass_federation"`
  }
  
  type CreateOptions struct {
@@@ -95,8 -95,9 +96,9 @@@
  }
  
  type UpdateOptions struct {
-       UUID  string                 `json:"uuid"`
-       Attrs map[string]interface{} `json:"attrs"`
+       UUID             string                 `json:"uuid"`
+       Attrs            map[string]interface{} `json:"attrs"`
+       BypassFederation bool                   `json:"bypass_federation"`
  }
  
  type UpdateUUIDOptions struct {
@@@ -143,11 -144,6 +145,11 @@@ type LoginOptions struct 
        State    string `json:"state,omitempty"`  // OAuth2 callback state
  }
  
 +type UserAuthenticateOptions struct {
 +      Username string `json:"username,omitempty"` // PAM username
 +      Password string `json:"password,omitempty"` // PAM password
 +}
 +
  type LogoutOptions struct {
        ReturnTo string `json:"return_to"` // Redirect to this URL after logging out
  }
@@@ -190,6 -186,5 +192,6 @@@ type API interface 
        UserList(ctx context.Context, options ListOptions) (UserList, error)
        UserDelete(ctx context.Context, options DeleteOptions) (User, error)
        UserBatchUpdate(context.Context, UserBatchUpdateOptions) (UserList, error)
 +      UserAuthenticate(ctx context.Context, options UserAuthenticateOptions) (APIClientAuthorization, error)
        APIClientAuthorizationCurrent(ctx context.Context, options GetOptions) (APIClientAuthorization, error)
  }