我正在尝试从我写过文件的路径中读取文件。我正在关注文档,所以我使用以下代码行:
val data = sc.textFile(PATH)
这会产生编译错误: 找不到:值sc。
我找到了涉及应该在终端中给出的命令的解决方案,但在我的情况下我使用的是eclipse。有没有办法通过导入库或类似的东西来解决这个问题?
谢谢你!答案 0 :(得分:1)
您需要先创建火花上下文。
例如:
val conf = new SparkConf().setAppName(appName).setMaster(master)
val sc = new SparkContext(conf)
当您使用Spark shell时,不需要创建spark上下文,因为它已经在名为sc的变量中为您创建了。
您可以阅读有关spark上下文初始化there的更多信息。