Scala错误：value $不是对象的成员org.apache.spark.api.java.JavaSparkContext

Question

我是Spark的新手。我正在尝试在Spark shell中运行以下代码：

import org.apache.spark.api.java.JavaSparkContext
import org.apache.hadoop.conf
JavaSparkContext context = new JavaSparkContext(conf);

但我收到以下错误：

<console>:32: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext
val $ires10 = JavaSparkContext.context
                           ^
<console>:29: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext
     JavaSparkContext context = new JavaSparkContext(conf);

是否有任何我失踪的进口声明？我还添加了

import org.apache.spark.api.java.JavaSparkContext._

但它仍然无效。请帮忙。

Answer 1

更新：您是否需要处理配置是否有效，但这解决了您在原始问题中询问的错误。

您的代码（几乎）有效 Java ，但无效 Scala 。你的意思是这样的：

import org.apache.spark.api.java.JavaSparkContext

val context = new JavaSparkContext()

或者，由于您使用的是 Scala ，因此您可能需要尝试此操作。

import org.apache.spark.SparkContext

val context = new SparkContext()

对于您报告的错误， Scala 会将语句JavaSparkContext context视为对context名为object的{​​{1}}成员的引用 - 而不是像 Java 中那样的变量声明。