Apache Beam将PCollection初始化为空

Question

我尝试将Spark ETL应用程序转换为Beam Application。

在Spark App中，我有一个空的RDD。

sc.emptyRDD()

其中sc是SparkContext。

如果我完全理解，PCollection就像Spark RDD。那么，有一种方法可以创建一个空的PCollection？

Answer 1

使用Create.empty()。由于PCollection是键入的并且需要编码器，因此您还需要指定编码器或类型描述符（即使集合为空），例如PCollection<String> emptyStrings = Create.of(StringUtf8Coder.of())。

Answer 2

对我有用的是：

PCollection<String> output = p.apply(Create.empty(StringUtf8Coder.of()));