在另一个RDD转换中使用List <string>或RDD <string>

时间:2015-10-29 05:29:30

标签: apache-spark java-8

我想在另一个RDD转换方法中使用List<String> or RDD<String>,例如map()mapToPair()

实际上我想在RDD转换方法中迭代列表并做一些事情。

如果我使用列表作为静态变量,它的工作正常。否则它不起作用,我得到的列表总是空的。在集群内使用静态变量也会出现问题吗?因为到目前为止我在本地独立模式下尝试这个。

我们如何在RDD转换中使用List或其他RDD?我是否需要将列表用作broadcast变量?

0 个答案:

没有答案