在紧缩中迭代PTable

时间:2017-08-17 14:21:28

标签: apache-crunch

我有以下的PTable,

PTable<String, String> somePTable1 = somePCollection1.parallelDo(new SomeClass(),
    Writables.tableOf(Writables.strings(), Writables.strings()));

PTable<String, Collection<String>> somePTable2 = somePTable1.collectValues();

对于上面描述的somePTable2,我想为somePTable2中的每条记录创建一个新文件,有没有办法迭代somePTable2以便我可以访问记录。我知道我可以在somePTable2上应用DoFn,但是它是可以在DoFn中应用pipeline.write()操作吗?

1 个答案:

答案 0 :(得分:0)

尝试按原样存储您的列表

somePTable2.values().write()

如果要为PTable中的集合中的每个元素生成一条记录,则需要应用DoFn并在写入之前为集合中的每个元素发出一条记录。