我们开始为第一个Apache Beam测试实现mongoDB IO连接器,并且Source部分似乎正常工作。关于接收器部分,执行会导致错误...我们将以下准则用于实现:https://beam.apache.org/documentation/sdks/python-custom-io/
我们的实现可以在这里找到:https://github.com/PEAT-AI/beam-extended
我尝试运行的示例如下:
DATE_A | DATE_B | ISSUE
----------+-----------+-----------
20130301 | 20140101 | bla1
20150801 | null | foo1
null | 20180701 | bar
20130301 | 20150101 | bla2
20150801 | null | foo2
,我获得以下堆栈跟踪:
DATE_M | ISSUE
----------+-----------
20130301 | bla1; bla2
20140101 | bla1
20150801 | foo1; foo2
20150101 | bla2
20180701 | bar