我想为文件的每一行进行Service调用。我们的源文件大于50 GB。迭代超过50GB的Row可能需要更多时间。是否需要编写任何内置功能或任何Map Reduce程序来为每行调用服务。由于Map Reduce提供了一点点并行化。是否有任何自定义工具已经构建此要求
答案 0 :(得分：1)
map-reduce的基本要求是任务应该并行运行而不会对单个结果产生任何影响。如果您的服务呼叫独立于其他内容，则可以使用map reduce。我认为只有地图才足够，负责阅读每一行并进行服务电话。但是，您还需要考虑地图的另一面。您打算如何处理服务电话并最终使用地图。那部分决定了减速器的东西