doc/sdk/python/cookbook.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: sdk
   4 navmenu: Python
   5 title: Code cookbook
   6 ...
   7 {% comment %}
   8 Copyright (C) The Arvados Authors. All rights reserved.
   9
  10 SPDX-License-Identifier: CC-BY-SA-3.0
  11 {% endcomment %}
  12
  13 h2. Cancel a container request
  14
  15 {% codeblock as python %}
  16 import arvados
  17 arvados.api().container_requests().update(uuid=container_request_uuid, body={"priority": 0}).execute()
  18 {% endcodeblock %}
  19
  20 h2. Cancel all container requests
  21
  22 {% codeblock as python %}
  23 import arvados
  24 api = arvados.api()
  25 result = api.container_requests().list(filters=[["state", "=", "Committed"], ["priority", ">", "0"]]).execute()["items"]
  26 for container_request in result:
  27     api.container_requests().update(uuid=container_request["uuid"], body={"priority": 0}).execute()
  28 {% endcodeblock %}
  29
  30 h2. List completed container requests
  31
  32 {% codeblock as python %}
  33 import arvados
  34 api = arvados.api()
  35 result = api.container_requests().list(filters=[["name", "like", name], ["state", "=", "Final"]]).execute()["items"]
  36 container_uuids = [cr["container_uuid"] for cr in result]
  37 containers = api.containers().list(filters=[["uuid", "in", container_uuids]]).execute()["items"]
  38 container_dict = {c["uuid"]: c for c in containers}
  39
  40 for container_request in result:
  41     container = container_dict[container_request["container_uuid"]]
  42     print("%s, %s, %s" % (container_request["uuid"], container_request["name"], "Success" if container["exit_code"] == 0 else "Failed"))
  43 {% endcodeblock %}
  44
  45 h2. Get input of a CWL workflow
  46
  47 {% codeblock as python %}
  48 import arvados
  49 api = arvados.api()
  50 container_request_uuid="qr1hi-xvhdp-zzzzzzzzzzzzzzz"
  51 container_request = arvados.api().container_requests().get(uuid=container_request_uuid).execute()
  52 print(container_request["mounts"]["/var/lib/cwl/cwl.input.json"])
  53 {% endcodeblock %}
  54
  55 h2. Get output of a CWL workflow
  56
  57 {% codeblock as python %}
  58 import arvados
  59 import arvados.collection
  60 api = arvados.api()
  61 container_request_uuid="qr1hi-xvhdp-zzzzzzzzzzzzzzz"
  62 container_request = arvados.api().container_requests().get(uuid=container_request_uuid).execute()
  63 collection = arvados.collection.CollectionReader(container_request["output_uuid"])
  64 print(collection.open("cwl.output.json").read())
  65 {% endcodeblock %}
  66
  67 h2. List input of child requests
  68
  69 {% codeblock as python %}
  70 import arvados
  71 api = arvados.api()
  72 parent_request_uuid = "qr1hi-xvhdp-zzzzzzzzzzzzzzz"
  73 namefilter = "bwa%"  # the "like" filter uses SQL pattern match syntax
  74 container_request = arvados.api().container_requests().get(uuid=parent_request_uuid).execute()
  75 parent_container_uuid = container_request["container_uuid"]
  76 child_requests = arvados.api().container_requests().list(filters=[
  77     ["requesting_container_uuid", "=", parent_container_uuid],
  78     ["name", "like", namefilter]]).execute()
  79 for c in child_requests["items"]:
  80     print("%s" % c["name"])
  81     for m in c["mounts"].values():
  82         if "portable_data_hash" in m:
  83             print("  %s" % m["portable_data_hash"])
  84 {% endcodeblock %}
  85
  86 h2. List output of child requests
  87
  88 {% codeblock as python %}
  89 import arvados
  90 api = arvados.api()
  91 parent_request_uuid = "qr1hi-xvhdp-zzzzzzzzzzzzzzz"
  92 namefilter = "bwa%"  # the "like" filter uses SQL pattern match syntax
  93 container_request = arvados.api().container_requests().get(uuid=parent_request_uuid).execute()
  94 parent_container_uuid = container_request["container_uuid"]
  95 child_requests = arvados.api().container_requests().list(filters=[
  96     ["requesting_container_uuid", "=", parent_container_uuid],
  97     ["name", "like", namefilter]]).execute()
  98 output_uuids = [c["output_uuid"] for c in child_requests["items"]]
  99 collections = arvados.api().collections().list(filters=[["uuid", "in", output_uuids]]).execute()
 100 uuid_to_pdh = {c["uuid"]: c["portable_data_hash"] for c in collections["items"]}
 101 for c in child_requests["items"]:
 102     print("%s -> %s" % (c["name"], uuid_to_pdh[c["output_uuid"]]))
 103 {% endcodeblock %}
 104
 105 h2. List failed child requests
 106
 107 {% codeblock as python %}
 108 import arvados
 109 api = arvados.api()
 110 parent_request_uuid = "qr1hi-xvhdp-zzzzzzzzzzzzzzz"
 111 container_request = arvados.api().container_requests().get(uuid=parent_request_uuid).execute()
 112 parent_container_uuid = container_request["container_uuid"]
 113 child_requests = arvados.api().container_requests().list(filters=[
 114     ["requesting_container_uuid", "=", parent_container_uuid]], limit=1000).execute()
 115 child_containers = {c["container_uuid"]: c for c in child_requests["items"]}
 116 cancelled_child_containers = arvados.api().containers().list(filters=[
 117     ["exit_code", "!=", "0"],
 118     ["uuid", "in", child_containers.keys()]], limit=1000).execute()
 119 for c in cancelled_child_containers["items"]:
 120     print("%s (%s)" % (child_containers[c["uuid"]]["name"], child_containers[c["uuid"]]["uuid"]))
 121 {% endcodeblock %}
 122
 123 h2. Get log of a child request
 124
 125 {% codeblock as python %}
 126 import arvados
 127 import arvados.collection
 128 api = arvados.api()
 129 container_request_uuid = "qr1hi-xvhdp-zzzzzzzzzzzzzzz"
 130 container_request = arvados.api().container_requests().get(uuid=container_request_uuid).execute()
 131 collection = arvados.collection.CollectionReader(container_request["log_uuid"])
 132 for c in collection:
 133     print(collection.open(c).read())
 134 {% endcodeblock %}
 135
 136 h2. Create a collection sharing link
 137
 138 {% codeblock as python %}
 139 import arvados
 140 api = arvados.api()
 141 download="https://your.download.server"
 142 collection_uuid="qr1hi-4zz18-zzzzzzzzzzzzzzz"
 143 token = api.api_client_authorizations().create(body={"api_client_authorization":{"scopes": [
 144     "GET /arvados/v1/collections/%s" % collection_uuid,
 145     "GET /arvados/v1/collections/%s/" % collection_uuid,
 146     "GET /arvados/v1/keep_services/accessible"]}}).execute()
 147 print("%s/c=%s/t=%s/_/" % (download, collection_uuid, token["api_token"]))
 148 {% endcodeblock %}
 149
 150 h2. Combine two or more collections
 151
 152 Note, if two collections have files of the same name, the contents will be concatenated in the resulting manifest.
 153
 154 {% codeblock as python %}
 155 import arvados
 156 import arvados.collection
 157 api = arvados.api()
 158 project_uuid = "qr1hi-tpzed-zzzzzzzzzzzzzzz"
 159 collection_uuids = ["qr1hi-4zz18-aaaaaaaaaaaaaaa", "qr1hi-4zz18-bbbbbbbbbbbbbbb"]
 160 combined_manifest = ""
 161 for u in collection_uuids:
 162     c = api.collections().get(uuid=u).execute()
 163     combined_manifest += c["manifest_text"]
 164 newcol = arvados.collection.Collection(combined_manifest)
 165 newcol.save_new(name="My combined collection", owner_uuid=project_uuid)
 166 {% endcodeblock %}