跨网络的任务调度?

时间:2011-04-15 01:30:07

标签: python scheduled-tasks distributed-computing

您能推荐python工具/模块,它允许在网络中的远程机器上安排任务吗?

请注意,解决方案不仅必须能够在远程计算机上运行某些作业/命令,还要验证作业等是否仍在运行(例如,考虑在将任务分配给它后机器死亡的情况?)

3 个答案:

答案 0 :(得分:3)

RPyC或Remote Python Call是一个透明且对称的python库,用于远程过程调用,集群和分布式计算。这是Wikipedia的一个例子:

import rpyc
conn = rpyc.classic.connect("hostname")  # assuming a classic server is running on 'hostname'

print conn.modules.sys.path
conn.modules.sys.path.append("lucy")
print conn.modules.sys.path[-1]

# a version of 'ls' that runs remotely
def remote_ls(path):
    ros = conn.modules.os
    for filename in ros.listdir(path):
        stats = ros.stat(ros.path.join(path, filename))
        print "%d\t%d\t%s" % (stats.st_size, stats.st_uid, filename)

remote_ls("/usr/bin")

# and exceptions...
try:
     f = conn.builtin.open("/non/existent/file/name")
except IOError:
     pass

要在分配作业后检查远程服务器是否已经死亡,您可以使用Connection类的ping方法。完整的API描述为here

答案 1 :(得分:2)

Fabric(http://docs.fabfile.org/en/1.0.1/index.html)是一个非常好的工具包,适用于各种系统管理和部署任务。它带有一些预先定义的任务,但也可以灵活地添加您需要的任务。

我强烈推荐它。

答案 2 :(得分:0)

应该可以使用Python WMI,对于基于* NIX的系统,它是围绕SSH和CRON的wrap