Question

如何在java spark api中的map函数中获取SparkConf或JavaSparkContext。

     SparkConf conf = new SparkConf().setAppName("Simple Application");
     JavaSparkContext sc = new JavaSparkContext(conf);
     JavaRDD<String>dateRDD=javaRDD.map(new Function<String, String>() {

如何在此函数中获取此sparkconf或上下文。我将此作为参数传递给构造函数。还有其他方法。

Answer 1

你误解了Spark的概念。 map函数在单独的JVM线程内的执行程序节点上执行的一组单独任务中执行。你永远不应该在SparkContext或任何其他转换或动作中使用map，因为以你所做的方式调出SparkContext会带来一组带有驱动程序的Spark集群。遗嘱执行人，这不是你希望的目标。

让我知道你的目标是什么，我会告诉你如何实现这个目标

在map函数中获取sparkConf

1 个答案: