烫伤：如何更改默认元组比较功能？

Question

进行Scalding MapReduce操作我需要在元组字段上使用我自己的比较函数来比较元组。

问题：

1. 如何定义自己的元组比较函数？
2. 一般来说，使用客户Scala代码扩展Scalding的规则是什么？限制？

谢谢！

Answer 1

您可以创建虚拟字段（例如，使用com.twitter.scalding.RichPipe#map），按此字段排序然后将其删除。以下是基于Scalding Documentation：

的示例

val users = Csv(file_source, separator = ",", fields = Schema)
  .read
  .map ('age-> 'ageInt) {x:Int => x}
  .groupAll { _.sortBy('ageInt) }  // will sort age as a number.
  .discard ('ageInt)