标签: amazon-web-services mapreduce
我在数据库中有数亿行作为输入数据。 每10000行处理大约需要15分钟,因为涉及外部API请求。
我将把它划分为数据点,并使用数百个Amazon AWS EC2实例进行处理。在EC2实例上启动的每个进程也将保存数据库中的输出。
是否可以使用云服务将此多工具任务组织为map reduce claster?