如何使用本地输入文件在本地模式下运行scalding测试

时间:2015-04-21 15:23:24

标签: scala tdd scalding

Scalding具有很好的实用性,可以为作业流程运行集成测试。 这样输入和输出就是内存缓冲区

val input = List("0" -> "This a a day")
val expectedOutput = List(("This", 1),("a", 2),("day", 1))
 JobTest(classOf[WordCountJob].getName)
  .arg("input", "input-data")
  .arg("output", "output-data")
  .source(TextLine("input-data"), input)
  .sink(Tsv("output-data")) {
  buffer: mutable.Buffer[(String, Int)] => {
    buffer should equal(expectedOutput)
  }
}.run

如何转发/编写另一个读取输入和写入输出到真实本地文件的代码?像级联中的FileTap / LFS一样 - 而不是内存中的方法

0 个答案:

没有答案