如何将tmysqlinput和tMongoDBInput连接到大量数据

时间:2019-06-05 15:59:51

标签: mongodb bigdata talend

我正在处理Talend大数据工作,找不到解决方案。 pb:我正在通过tMysqlInput(大约500k行)将一些数据查询到mysql数据库中,我想将它们与一些mongoDB数据合并。 (有一个共同的领域(ID)加入他们)。

我想使用tmap,但是mongodDB中有数百万个数据,因此我面临内存不足的异常。 =>我必须手动过滤数据(而不是将mongo select *推入tmap),但是..我不知道如何。 所以..如果有人可以帮助。 非常感谢

0 个答案:

没有答案