sc.textFile scala错误

时间:2016-05-28 18:04:23

标签: scala input apache-spark compiler-errors

我正在尝试从我写过文件的路径中读取文件。我正在关注文档,所以我使用以下代码行:

 val data = sc.textFile(PATH)

这会产生编译错误: 找不到:值sc。

我找到了涉及应该在终端中给出的命令的解决方案,但在我的情况下我使用的是eclipse。有没有办法通过导入库或类似的东西来解决这个问题?

谢谢你!

1 个答案:

答案 0 :(得分:1)

您需要先创建火花上下文。

例如:

val conf = new SparkConf().setAppName(appName).setMaster(master)
val sc = new SparkContext(conf)

当您使用Spark shell时,不需要创建spark上下文,因为它已经在名为sc的变量中为您创建了。

您可以阅读有关spark上下文初始化there的更多信息。