如何从Spark工作进程调用服务

时间:2015-11-19 02:40:09

标签: java apache-spark

我尝试实现的火花RDD计算工作相对复杂,包括对少数服务类的调用(反过来,调用外部服务)。

但是当我试图从内部的闭包中进行这些服务调用时,比如JavaSparkContext :: map或JavaSparkContext :: forEach,我得到了java.io.NotSerializableException。

在Spark中实现计算的正确方法是什么,包括外部服务调用?

0 个答案:

没有答案