亚马逊EC2的工作者框架

时间:2011-07-17 15:46:55

标签: python amazon-ec2 subprocess multiprocessing

Amazon EC2是否有适用于Python的通用工作者框架?有些东西,您只能说“运行此Python任务X”,它会自动将任务分配给服务器池中服务器上的工作进程之一,并在执行任务后报告回来?

  • 描述Python中的任务(类,脚本等) - 在这种情况下从音频文件中提取信息

  • 使用某种控制器为其提供任务和文件(在我的情况下通过HTTP交互) - 控制器知道它可用于运行任务的EC2服务器池

  • 控制器为任务分配一个EC2服务器 - 每个服务器可以包含N个工作进程(而不是线程,毕竟这是Python ......)

  • 任务在服务器上执行,进度(0 ... 100%完成)被报告回控制器,控制器又可以将其报告给用户

1 个答案:

答案 0 :(得分:0)

您可以尝试Elastic MapReduce