我正在检查是否可以将apache beam用于我们的数据管道。例如,我们需要进行以下复杂的转换和数据汇总。现在我们在pandas python中进行操作:
dd_merged_f['group_id'] = dd_merged_f.assign(key=dd_merged_f['record_type'].eq('START').astype(int)).groupby(merge_cols)['key'].cumsum()
只是想知道我们是否可以使用PTransform来执行这种代码?我们也应该进行许多联接。