如何在多台远程计算机上运行Python脚本?

时间:2012-07-16 20:43:34

标签: java python shell parallel-processing jython

所以我有一些shell脚本以.tar.gz格式提取和转换某些数据。提取/转换需要大量数据并将其转换为可用于填充数据库的单个文件。因为数据集非常大,我需要使用" GNU parallel"在多台机器上运行该进程。这些脚本充当我的Java应用程序的包装脚本。

但是,我希望以更直接的方式将此过程与我的Java应用程序集成,以便进行更高级别的测试。我的第一个想法是用Jython替换shell脚本,直接从Jython调用我的Java方法和应用程序。但是,我似乎无法找到类似于GNU parallel的程序,这将允许我在多台机器上同时运行脚本。

有什么想法/想法吗?

1 个答案:

答案 0 :(得分:0)

不确定这是否正是您所需要的,但请查看Jsch:http://www.jcraft.com/jsch/examples/

特别是Exec.java和Shell.java示例:

http://www.jcraft.com/jsch/examples/Exec.java.html

http://www.jcraft.com/jsch/examples/Shell.java.html