我是Scala的新手,正在尝试使用以下代码编写读取文件
scala> val textFile = sc.textFile("README.md")
scala> textFile.count()
但我一直收到以下错误
error: not found: value sc
我已经尝试了一切,但似乎没有任何效果。我使用Scala版本2.10.4和Spark 1.1.0(我甚至尝试过Spark 1.2.0,但它也不起作用)。我已经安装并编译了sbt但无法运行sbt/sbt assembly
。是因为这个错误吗?
答案 0 :(得分:3)
您应该使用./spark-shell
运行此代码。它提供了sparkContext的scala repl。您可以在文件夹spark-1.4.1/bin
中的apache spark发布中找到它。