标签: java apache-spark
如果我使用自定义对象(例如:class foo)JavaRDD创建JavaRDD,那么类foo是否必须实现serialize接口才能在集群上运行它?
答案 0 :(得分:1)
如果您正在寻找确认,您的查询的简单答案是 是 。
看看这个article
所有对象必须是Serializable才能用作Spark中的RDD操作的一部分
但如果你按照上面的文章,你可以打败Serializaiton。
查看此相关SE question和Spark优化article