我们在compnay中做一些文件运算\计算简单地说，我们有一个工作或任务涉及读取超过十亿条记录的大文件，解析文件并进行一些清理并将清理后的数据写入另一个文件。我们有数百个这样的工作，不断创建，提交，运行。每个作业都处理自己的文件，因此我们不必担心并发问题。
为实现这一目标，我们构建了自己的调度系统（组合或MainFrame和Java）。我们目前的吞吐量是每小时约4000万条记录。
为了更好地实现这一目标（并提供更多的容错能力），我们正在评估IBM的LSF，以帮助我们完成这种调度和创造就业机会。
你们中有没有人觉得使用LSF对这个问题可能过度杀戮？我可以想到使用AKKA中的actor模型实现并在其周围编写自己的Job Scheduler来实现相同的功能。
有什么想法吗？
答案 0 :(得分：0)
我的评论太长了，所以我把它作为答案，虽然它并没有真正回答你的问题（不管怎么说）。
在引入新技术和推出自己的解决方案之间需要权衡。您是否需要在不同文件或一个文件中的记录之间进行交叉引用？如果没有，并且您逐行处理文件，则有数百种方法可以在不使用任何框架的情况下编写脚本。引入Akka（或任何其他框架）可能会拖延一些基础设施要求，这些要求可能比编写实际服务更昂贵。
TLDR：是的，你可以使用Akka来做这个（以及许多其他方法），但是有太多未知数来决定它是否是“最佳”解决方案（引用因为没有“最佳”定义这一点）。