确保火花流中的对象在特定节点上运行

Question

假设您有一个火花流设置，例如

JavaReceiverInputDStream<...> rndLists = jssc.receiverStream(new JavaRandomReceiver(...));

rndLists.map(new NeuralNetMapper(...))
    .foreach(new JavaSyncBarrier(...));

有没有办法确保将JavaRandomReceiver和JavaSyncBarrier分发到同一节点？或者这甚至是一个有意义的问题？

关于火花流如何在群集中分配工作的一些信息也将非常受欢迎。

Answer 1

您可以尝试自定义分区。检查此链接：

https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch04.html