如何将aerospike扫描作业更改为map-reduce模式？

Question

我们将每天扫描我们的空中飞行，并从扫描结果中获取一些信息。 现在我们正在考虑将扫描更改为map-reduce作业。但我发现有一些东西可能使这次尝试失败。我没有找到任何简单的方法将扫描作业分成多个子任务。例如，我在一个aerospike集群中有8个节点，我可以想象的唯一可以分配映射器数据集的模式是分别使用8个映射器扫描8个节点。我们在一个节点中有4组，当然我可以使用更多的映射器扫描每组节点，但这会导致每个映射器的数据集不平衡。

那么有什么方法可以使用多个进程在一个节点中扫描一组？

Answer 1

如果您通过读取记录来聚合某些数据，则可能需要考虑Stream UDF。