使用Scalding限制reducer输出文件大小

Question

我正在使用Scalding，我们的输出文件大小约为5.5GB。 （例如，对于30个减速器，有30个5.5GB文件）。有没有办法说，限制输出文件每个512MB？我可以增加减速器的数量，但希望有点动态。

Answer 1

我不确定Scalding，但在典型的map map中，您可以通过实现多种输出格式来增加输出文件的数量。您可以根据键生成文件名前缀（默认情况下，它使用部分作为前缀）。