Scalding具有很好的实用性,可以为作业流程运行集成测试。 这样输入和输出就是内存缓冲区
val input = List("0" -> "This a a day")
val expectedOutput = List(("This", 1),("a", 2),("day", 1))
JobTest(classOf[WordCountJob].getName)
.arg("input", "input-data")
.arg("output", "output-data")
.source(TextLine("input-data"), input)
.sink(Tsv("output-data")) {
buffer: mutable.Buffer[(String, Int)] => {
buffer should equal(expectedOutput)
}
}.run
如何转发/编写另一个读取输入和写入输出到真实本地文件的代码?像级联中的FileTap / LFS一样 - 而不是内存中的方法