在Apache Beam转换中对CSV列进行分组

Question

我有一个约200列的csv。我想对每列进行分组，以便获得col_name：[column]对作为元素的集合。使用Beam python sdk怎么做？

Answer 1

您可以输出（column_index，column_value）的元组，然后可以按列索引对其进行分组。如果您具有与各列关联的名称，则可以输出（column_name，column_value）。

参考：https://beam.apache.org/documentation/programming-guide/#core-beam-transforms