Question

我正在尝试模拟一个TextLine来执行缩放作业，但是无论我是显式还是隐式表示偏移量，偏移量似乎都与行混合在一起。

这是我的工作：

package changed

import com.twitter.scalding._
import com.twitter.scalding.typed.TDsl._

class MyJob(args: Args) extends Job(args) { 
  val mySource = TextLine(args("input"))
  val myPipe : TypedPipe[String] = mySource
    .read
    .debug
    .toTypedPipe[String]('line)
    .debug
    .write(TypedTsv[String](args("output")))
}

请注意，在转换为类型安全的API之前和之后，我都记录了元组。

这是我的考试：

package changed

import com.twitter.scalding.{JobTest, TextLine, TypedTsv, TupleConversions}
import org.scalatest.FunSpec

class MyTest extends FunSpec with TupleConversions {
  val Input = "/tmp/testInput"
  val Output = "/tmp/testOutput"
  val Data1 = List((0 -> "line0", 1 -> "line1", 2 -> "line2"))
  val Data2 = List((0, "line0", 1, "line1", 2, "line2"))
  val Data3 = List(("line0", "line1", "line2"))

  JobTest("sandcrawler.MyJob")
    .arg("test", "")
    .arg("app.conf.path", "app.conf")
    .arg("output", Output)
    .arg("input", Input)
    .arg("debug", "true")
    .source(TextLine(Input), Data1)
    .sink[String](TypedTsv[String](Output)) {
      outputBuffer =>
      it("should return a 3-element list.") {
        assert(outputBuffer.size === 3)
      }
    }
    .run
    .finish
}

如果我从常量列表Data1中获得输入，如上所示，则两次调用debug的输出的元组分别是：

['(0,line0)', '(1,line1)']
['(1,line1)']

如果我从Data2获得输入，则debug的输出为：

['0', 'line0']
['line0']

如果我从Data3获得输入，则debug的输出为：

['line0', 'line1']
['line1']

所有运行都失败，并显示相同的错误消息：

[info] MyTest:
[info] - should return a 3-element list. *** FAILED ***
[info]   1 did not equal 3 (MyTest.scala:23)

换句话说，仅写入一个元组。

我应该如何表示/访问我的模拟数据？

Answer 1

在这种特定情况下，问题在于Data1周围有多余的括号。如果您改为：

val Data1 = List(0 -> "line0", 1 -> "line1", 2 -> "line2")

您应该获得预期的输出：

['0', 'line0']
['line0']
['1', 'line1']
['line1']
['2', 'line2']
['line2']

如何使用类型安全的API模拟TextLine进行缩放？

1 个答案: