]> git.arvados.org - arvados.git/commit
4027: Crunch installs jobs' requested arvados_sdk_version.
authorBrett Smith <brett@curoverse.com>
Mon, 24 Nov 2014 21:55:38 +0000 (16:55 -0500)
committerBrett Smith <brett@curoverse.com>
Tue, 9 Dec 2014 15:12:34 +0000 (10:12 -0500)
commit90501e4a6877d559d98bb94ce7b7825b463e055d
tree2158cdf25b5e2af0f68e6442b98f32760088557a
parent4f78b5b86230394ab5b8545227915ce97cb3d36a
4027: Crunch installs jobs' requested arvados_sdk_version.

* crunch-dispatch fetches the requested SDK version into its internal
  git repository, just like it does for the Crunch script.  Refactored
  crunch-dispatch to make that code reusable.

* crunch-job's main script archives the sdk subdirectory as of that
  commit, sending it along to compute nodes in the same .tar as the
  Crunch script, under .arvados.sdk.

* crunch-job's __DATA__ dispatch section looks for the SDK under
  .arvados.sdk, and installs it as much as possible.

Since I was messing with it so much already, I changed the semantics
of crunch-job's __DATA__ section: it is now either in installation
mode or run mode, based on whether there's anything in @ARGV.  I
confirmed that this is consistent with current calls to the section.
doc/api/schema/Job.html.textile.liquid
sdk/cli/bin/crunch-job
services/api/script/crunch-dispatch.rb