使用Apache Beam写入文件时添加行号

时间:2019-03-29 15:09:38

标签: java apache-beam

我正在使用Apache Beam将数据(大约10亿行)写入实木复合地板格式的文件中。我想在写入时向每行添加行号/行号,如何使用Apache Beam实现呢? 我尝试使用

@StateId("index")
    private final StateSpec<ValueState<Long>> indexSpec = StateSpecs.value(VarLongCoder.of());

但这会降低性能,减慢程序速度。 请指导我。预先感谢。

0 个答案:

没有答案