给集合添加时间戳

时间:2020-09-02 13:41:48

标签: apache-beam

我是Beam的新手,正在为文本文件进行简单的批处理加载过程。我想为在BigQuery中插入记录添加时间戳。有没有为PCollection添加“插入日期”的首选模式?我见过几种不同的方法,但很好奇是否有首选模式或最佳做法?谢谢!

1 个答案:

答案 0 :(得分:0)

Apache Beam文档中有一个不错的部分:

“无限制的源为每个元素提供了一个时间戳。根据无限制的源,您可能需要配置如何从原始数据流中提取时间戳。

但是,有界源(例如TextIO中的文件)不提供时间戳。如果需要时间戳记,则必须将它们添加到PCollection的元素中。”

在以下位置也有一个不错的java / python代码示例:

https://beam.apache.org/documentation/programming-guide/#adding-timestamps-to-a- pcollections-元素

相关问题