IDE支持Map减少Scala中的程序

Question

您是否有人可以建议在Scala中编写mapreduce程序的合适IDE？请使用mapreduce在Scala中提供WordCount程序的示例代码。

Answer 1

如果您正在讨论分布式计算，那么scala世界中此区域的主要参与者是Spark。

单词计数示例即将出现documentation：

val textFile = spark.textFile("hdfs://...")
val counts = textFile.flatMap(line => line.split(" "))
                 .map(word => (word, 1))
                 .reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://...")

您可以在交互式shell或程序中运行此代码。可以通过以下方式创建Spark上下文：

val conf = new SparkConf().setAppName("Simple Application")
val spark = new SparkContext(conf)

Github

还有许多可以运行的示例

Answer 2

您可以使用eclipse，因为Spark应用程序本质上是scala代码 任何ide只会有助于开发（编写代码）而不是调试，因为这个应用程序被提交到Hadoop集群并在所有节点中并行执行。