Cloudera：spark Scala：错误：textFile不是org.apache.sparkcontext的一部分

Question

这就是我所做的：

val sc = new SparkContext
val data1 = sc.textFile("/user/samplecsv.csv")

我收到以下错误：

textFile is not part of org.apache.sparkcontext

我正在运行Cloudera＆gt;＆gt;火花 - 壳

有什么建议吗？

这是确切的错误：

scala> val data1 = sc.textFile("user/samplecsv.csv") 

<console>:15: error: not found: 

value sc val data1 = sc.textFile("user/samplecsv.csv")

Answer 1

如果您使用的是更新版本的spark 2或更高版本，则无需创建SparkContext的实例。当您spark-shell

开始Spark session available as 'spark'时，系统会显示一条消息

这样您就可以执行以下操作

scala> val data1 = spark.sparkContext.textFile("user/samplecsv.csv")
data1: org.apache.spark.rdd.RDD[String] = user/samplecsv.csv MapPartitionsRDD[1] at textFile at <console>:23

我希望答案很有帮助