apache光束中的复杂变换

时间:2019-04-24 18:40:33

标签: google-cloud-dataflow apache-beam

我正在检查是否可以将apache beam用于我们的数据管道。例如,我们需要进行以下复杂的转换和数据汇总。现在我们在pandas python中进行操作:

dd_merged_f['group_id'] = dd_merged_f.assign(key=dd_merged_f['record_type'].eq('START').astype(int)).groupby(merge_cols)['key'].cumsum() 

只是想知道我们是否可以使用PTransform来执行这种代码?我们也应该进行许多联接。

0 个答案:

没有答案