Merge branch '20457-careful-near-quota'
[arvados.git] / sdk / go / arvadosclient / arvadosclient.go
index 8f902d3a09574d2f52ef388978c51f391b4b9d58..516187c0e6146506b790a0ef8f95dcb7ac11c1f1 100644 (file)
@@ -19,7 +19,6 @@ import (
        "net/http"
        "net/url"
        "os"
-       "regexp"
        "strings"
        "sync"
        "time"
@@ -29,8 +28,8 @@ import (
 
 type StringMatcher func(string) bool
 
-var UUIDMatch StringMatcher = regexp.MustCompile(`^[a-z0-9]{5}-[a-z0-9]{5}-[a-z0-9]{15}$`).MatchString
-var PDHMatch StringMatcher = regexp.MustCompile(`^[0-9a-f]{32}\+\d+$`).MatchString
+var UUIDMatch StringMatcher = arvados.UUIDMatch
+var PDHMatch StringMatcher = arvados.PDHMatch
 
 var MissingArvadosApiHost = errors.New("Missing required environment variable ARVADOS_API_HOST")
 var MissingArvadosApiToken = errors.New("Missing required environment variable ARVADOS_API_TOKEN")
@@ -104,10 +103,6 @@ type ArvadosClient struct {
        // Client object shared by client requests.  Supports HTTP KeepAlive.
        Client *http.Client
 
-       // If true, sets the X-External-Client header to indicate
-       // the client is outside the cluster.
-       External bool
-
        // Base URIs of Keep services, e.g., {"https://host1:8443",
        // "https://host2:8443"}.  If this is nil, Keep clients will
        // use the arvados.v1.keep_services.accessible API to discover
@@ -167,17 +162,20 @@ func MakeTLSConfig(insecure bool) *tls.Config {
 // fields from configuration files but still need to use the
 // arvadosclient.ArvadosClient package.
 func New(c *arvados.Client) (*ArvadosClient, error) {
-       ac := &ArvadosClient{
-               Scheme:      "https",
-               ApiServer:   c.APIHost,
-               ApiToken:    c.AuthToken,
-               ApiInsecure: c.Insecure,
-               Client: &http.Client{
+       hc := c.Client
+       if hc == nil {
+               hc = &http.Client{
                        Timeout: 5 * time.Minute,
                        Transport: &http.Transport{
                                TLSClientConfig: MakeTLSConfig(c.Insecure)},
-               },
-               External:          false,
+               }
+       }
+       ac := &ArvadosClient{
+               Scheme:            "https",
+               ApiServer:         c.APIHost,
+               ApiToken:          c.AuthToken,
+               ApiInsecure:       c.Insecure,
+               Client:            hc,
                Retries:           2,
                KeepServiceURIs:   c.KeepServiceURIs,
                lastClosedIdlesAt: time.Now(),
@@ -188,15 +186,9 @@ func New(c *arvados.Client) (*ArvadosClient, error) {
 
 // MakeArvadosClient creates a new ArvadosClient using the standard
 // environment variables ARVADOS_API_HOST, ARVADOS_API_TOKEN,
-// ARVADOS_API_HOST_INSECURE, ARVADOS_EXTERNAL_CLIENT, and
-// ARVADOS_KEEP_SERVICES.
-func MakeArvadosClient() (ac *ArvadosClient, err error) {
-       ac, err = New(arvados.NewClientFromEnv())
-       if err != nil {
-               return
-       }
-       ac.External = StringBool(os.Getenv("ARVADOS_EXTERNAL_CLIENT"))
-       return
+// ARVADOS_API_HOST_INSECURE, and ARVADOS_KEEP_SERVICES.
+func MakeArvadosClient() (*ArvadosClient, error) {
+       return New(arvados.NewClientFromEnv())
 }
 
 // CallRaw is the same as Call() but returns a Reader that reads the
@@ -239,77 +231,37 @@ func (c *ArvadosClient) CallRaw(method string, resourceType string, uuid string,
                        vals.Set(k, string(m))
                }
        }
-
-       retryable := false
-       switch method {
-       case "GET", "HEAD", "PUT", "OPTIONS", "DELETE":
-               retryable = true
-       }
-
-       // Non-retryable methods such as POST are not safe to retry automatically,
-       // so we minimize such failures by always using a new or recently active socket
-       if !retryable {
-               if time.Since(c.lastClosedIdlesAt) > MaxIdleConnectionDuration {
-                       c.lastClosedIdlesAt = time.Now()
-                       c.Client.Transport.(*http.Transport).CloseIdleConnections()
-               }
-       }
-
-       // Make the request
        var req *http.Request
-       var resp *http.Response
-
-       for attempt := 0; attempt <= c.Retries; attempt++ {
-               if method == "GET" || method == "HEAD" {
-                       u.RawQuery = vals.Encode()
-                       if req, err = http.NewRequest(method, u.String(), nil); err != nil {
-                               return nil, err
-                       }
-               } else {
-                       if req, err = http.NewRequest(method, u.String(), bytes.NewBufferString(vals.Encode())); err != nil {
-                               return nil, err
-                       }
-                       req.Header.Add("Content-Type", "application/x-www-form-urlencoded")
-               }
-
-               // Add api token header
-               req.Header.Add("Authorization", fmt.Sprintf("OAuth2 %s", c.ApiToken))
-               if c.RequestID != "" {
-                       req.Header.Add("X-Request-Id", c.RequestID)
-               }
-               if c.External {
-                       req.Header.Add("X-External-Client", "1")
-               }
-
-               resp, err = c.Client.Do(req)
-               if err != nil {
-                       if retryable {
-                               time.Sleep(RetryDelay)
-                               continue
-                       } else {
-                               return nil, err
-                       }
-               }
-
-               if resp.StatusCode == http.StatusOK {
-                       return resp.Body, nil
+       if method == "GET" || method == "HEAD" {
+               u.RawQuery = vals.Encode()
+               if req, err = http.NewRequest(method, u.String(), nil); err != nil {
+                       return nil, err
                }
-
-               defer resp.Body.Close()
-
-               switch resp.StatusCode {
-               case 408, 409, 422, 423, 500, 502, 503, 504:
-                       time.Sleep(RetryDelay)
-                       continue
-               default:
-                       return nil, newAPIServerError(c.ApiServer, resp)
+       } else {
+               if req, err = http.NewRequest(method, u.String(), bytes.NewBufferString(vals.Encode())); err != nil {
+                       return nil, err
                }
+               req.Header.Add("Content-Type", "application/x-www-form-urlencoded")
        }
-
-       if resp != nil {
+       if c.RequestID != "" {
+               req.Header.Add("X-Request-Id", c.RequestID)
+       }
+       client := arvados.Client{
+               Client:    c.Client,
+               APIHost:   c.ApiServer,
+               AuthToken: c.ApiToken,
+               Insecure:  c.ApiInsecure,
+               Timeout:   30 * RetryDelay * time.Duration(c.Retries),
+       }
+       resp, err := client.Do(req)
+       if err != nil {
+               return nil, err
+       }
+       if resp.StatusCode != http.StatusOK && resp.StatusCode != http.StatusNoContent {
+               defer resp.Body.Close()
                return nil, newAPIServerError(c.ApiServer, resp)
        }
-       return nil, err
+       return resp.Body, nil
 }
 
 func newAPIServerError(ServerAddress string, resp *http.Response) APIServerError {
@@ -343,12 +295,12 @@ func newAPIServerError(ServerAddress string, resp *http.Response) APIServerError
 
 // Call an API endpoint and parse the JSON response into an object.
 //
-//   method - HTTP method: GET, HEAD, PUT, POST, PATCH or DELETE.
-//   resourceType - the type of arvados resource to act on (e.g., "collections", "pipeline_instances").
-//   uuid - the uuid of the specific item to access. May be empty.
-//   action - API method name (e.g., "lock"). This is often empty if implied by method and uuid.
-//   parameters - method parameters.
-//   output - a map or annotated struct which is a legal target for encoding/json/Decoder.
+//     method - HTTP method: GET, HEAD, PUT, POST, PATCH or DELETE.
+//     resourceType - the type of arvados resource to act on (e.g., "collections", "pipeline_instances").
+//     uuid - the uuid of the specific item to access. May be empty.
+//     action - API method name (e.g., "lock"). This is often empty if implied by method and uuid.
+//     parameters - method parameters.
+//     output - a map or annotated struct which is a legal target for encoding/json/Decoder.
 //
 // Returns a non-nil error if an error occurs making the API call, the
 // API responds with a non-successful HTTP status, or an error occurs