Question

我在eclipse中写了一个简单的火花，我想打印掉RDD中的所有元素：

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

object WordCount {
  def main(args:Array[String]): Unit =  {
  val conf = new SparkConf().setMaster("local");
  val sc = new SparkContext(conf);

  val data = sc.parallelize(List(1,2,3,4,5));
  data.collect().foreach(println);

 sc.stop();

  }
}

结果是这样的：

 <console>:16: error: not found: value sc
         val data = sc.parallelize(List(1,2,3,4,5));

我搜索并尝试了三种以上的解决方案，但仍然无法解决这个问题。有人可以帮我这个吗？非常感谢！

Answer 1

我不知道是什么令你烦恼的确切原因，因为你没有提到你如何设置它，但你说你可以在linux中的spark-shell中运行它，所以它不是代码。它最有可能是配置和设置。

也许我的short guide可以帮到你。它是简约的，但为了让Spark“hello world”在Eclipse中运行，我必须做的就是一切。

scala中的一个简单的spark程序：println out out RDD中的所有元素

1 个答案: