从worker访问SparkContext

时间:2014-10-22 13:48:17

标签: apache-spark

我遇到了同样的问题: Distributed loading of a wide row into Spark from Cassandra

不幸的是我无法发表评论并询问它是如何运作的...所以我问了一个新问题。

我想应用相同的解决方案但是......我无法访问方法图(工作者端)中的“sc”(SparkContext)。它总是空的...我理解(不是相同的jvm)。所以我不明白这个例子对于他的群集配置是如何工作的。

我需要完全一样。

THX

1 个答案:

答案 0 :(得分:0)

好的,我找到了答案。我认为他的密钥列表是RDD。但它是驱动程序端的列表,而map方法不是" RDD"方法,但斯卡拉一个。因此可以访问sc!