Spark JavaRDD泛型参数必须是可序列化的吗?

时间:2015-12-28 07:33:59

标签: java apache-spark

如果我使用自定义对象(例如:class foo)JavaRDD创建JavaRDD,那么类foo是否必须实现serialize接口才能在集群上运行它?

1 个答案:

答案 0 :(得分:1)

如果您正在寻找确认,您的查询的简单答案是

看看这个article

  

所有对象必须是Serializable才能用作Spark中的RDD操作的一部分

但如果你按照上面的文章,你可以打败Serializaiton。

查看此相关SE question和Spark优化article