如何将脚本复制到AWS云中的集群的领导节点以运行?

时间:2017-05-18 17:28:07

标签: python amazon-web-services cloud

我是Toil和AWS的新手,试图在Toil文档中运行HelloWorld.py示例。我已经在我的本地mac笔记本电脑上成功安装了toil和相关的python包,并在AWS上设置了我的帐户。 我正处于创建一个小型领导者/工作者群集的地步,并说明了这一点: $ cgcloud create-cluster toil -s 2 -t m3.large     $ cgcloud ssh toil-leader 在这里,辛劳文件如下: 将HelloWorld.py脚本放在leader节点上,然后运行: python HelloWorld.py --batchSystem = mesos --mesosMaster = master-private-ip:5050 aws:us-west-2:my-aws-jobstore

我的问题是:如何在领导节点上放置(复制到)HelloWorld.py脚本?

1 个答案:

答案 0 :(得分:0)

您将使用toil rsync-cluster命令。这可以作为标准unix命令rsync的包装,并将指定的文件复制到领导节点。

您似乎已从上面的toil命令命名了群集create-cluster。要将文件复制到群集的负责人,您将运行

$ toil rsync-cluster toil /path/to/HelloWorld.py :/remote/destination

这来自Toil documentation

  

rsync-cluster实用程序最常见的用例是将Toil脚本部署到Toil领导者。请注意语法是   与传统rsync相同,但主机名除外   结肠前。因为,所以在toil rsync-cluster中不需要这样做   主机名由Toil自动确定。

     

以下是其用法示例:

$ toil rsync-cluster CLUSTER-NAME-HERE \    
       ~/localFile :/remoteDestination