sdk/python/arvados/commands/ws.py

   1 #!/usr/bin/env python
   2
   3 import sys
   4 import logging
   5 import argparse
   6 import arvados
   7 import json
   8 from arvados.events import subscribe
   9 import signal
  10
  11 def main(arguments=None):
  12     logger = logging.getLogger('arvados.arv-ws')
  13
  14     parser = argparse.ArgumentParser()
  15     parser.add_argument('-u', '--uuid', type=str, default="", help="Filter events on object_uuid")
  16     parser.add_argument('-f', '--filters', type=str, default="", help="Arvados query filter to apply to log events (JSON encoded)")
  17     parser.add_argument('-s', '--start-time', type=str, default="", help="Arvados query filter to fetch log events created at or after this time. This will be server time in UTC. Allowed format: YYYY-MM-DD or YYYY-MM-DD hh:mm:ss")
  18     parser.add_argument('-i', '--id', type=int, default=None, help="Start from given log id.")
  19
  20     group = parser.add_mutually_exclusive_group()
  21     group.add_argument('--poll-interval', default=15, type=int, help="If websockets is not available, specify the polling interval, default is every 15 seconds")
  22     group.add_argument('--no-poll', action='store_false', dest='poll_interval', help="Do not poll if websockets are not available, just fail")
  23
  24     group = parser.add_mutually_exclusive_group()
  25     group.add_argument('-p', '--pipeline', type=str, default="", help="Supply pipeline uuid, print log output from pipeline and its jobs")
  26     group.add_argument('-j', '--job', type=str, default="", help="Supply job uuid, print log output from jobs")
  27
  28     args = parser.parse_args(arguments)
  29
  30     global filters
  31     global known_component_jobs
  32     global ws
  33
  34     filters = []
  35     known_component_jobs = set()
  36     ws = None
  37
  38     def update_subscribed_components(components):
  39         global known_component_jobs
  40         global filters
  41         pipeline_jobs = set()
  42         for c in components:
  43             if "job" in components[c]:
  44                 pipeline_jobs.add(components[c]["job"]["uuid"])
  45         if known_component_jobs != pipeline_jobs:
  46             ws.unsubscribe(filters)
  47             filters = [['object_uuid', 'in', [args.pipeline] + list(pipeline_jobs)]]
  48             ws.subscribe([['object_uuid', 'in', [args.pipeline] + list(pipeline_jobs)]])
  49             known_component_jobs = pipeline_jobs
  50
  51     api = arvados.api('v1')
  52
  53     if args.uuid:
  54         filters += [ ['object_uuid', '=', args.uuid] ]
  55
  56     if args.filters:
  57         filters += json.loads(args.filters)
  58
  59     if args.job:
  60         filters += [ ['object_uuid', '=', args.job] ]
  61
  62     if args.pipeline:
  63         filters += [ ['object_uuid', '=', args.pipeline] ]
  64
  65     if args.start_time:
  66         last_log_id = 1
  67         filters += [ ['created_at', '>=', args.start_time] ]
  68     else:
  69         last_log_id = None
  70
  71     if args.id:
  72         last_log_id = args.id-1
  73
  74     def on_message(ev):
  75         global filters
  76         global ws
  77
  78         logger.debug(ev)
  79         if 'event_type' in ev and (args.pipeline or args.job):
  80             if ev['event_type'] in ('stderr', 'stdout'):
  81                 sys.stdout.write(ev["properties"]["text"])
  82             elif ev["event_type"] in ("create", "update"):
  83                 if ev["object_kind"] == "arvados#pipelineInstance":
  84                     update_subscribed_components(ev["properties"]["new_attributes"]["components"])
  85
  86                 if ev["object_kind"] == "arvados#pipelineInstance" and args.pipeline:
  87                     if ev["properties"]["new_attributes"]["state"] in ("Complete", "Failed", "Paused"):
  88                         ws.close()
  89
  90                 if ev["object_kind"] == "arvados#job" and args.job:
  91                     if ev["properties"]["new_attributes"]["state"] in ("Complete", "Failed", "Cancelled"):
  92                         ws.close()
  93         elif 'status' in ev and ev['status'] == 200:
  94             pass
  95         else:
  96             print json.dumps(ev)
  97
  98     try:
  99         ws = subscribe(arvados.api('v1'), filters, on_message, poll_fallback=args.poll_interval, last_log_id=last_log_id)
 100         if ws:
 101             if args.pipeline:
 102                 c = api.pipeline_instances().get(uuid=args.pipeline).execute()
 103                 update_subscribed_components(c["components"])
 104                 if c["state"] in ("Complete", "Failed", "Paused"):
 105                     ws.close()
 106             ws.run_forever()
 107     except KeyboardInterrupt:
 108         pass
 109     except Exception as e:
 110         logger.error(e)
 111     finally:
 112         if ws:
 113             ws.close()