从Scala中的HDFS读取字符串内容

Question

什么是从Scala中读取HDFS的简单方法，还能够创建依赖HDFS而无需访问该HDFS的单元测试？莫名其妙地模拟/存根HDFS？

Answer 1

我建议使用spark。

val textFile = sc.textFile("hdfs://...")
val counts = textFile.flatMap(line => line.split(" "))
                 .map(word => (word, 1))
                 .reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://...")