SPRING XD- HDFS SINK中的重复条目

时间:2015-04-07 16:03:05

标签: hadoop spring-xd

我使用spring xd singlenode将数据从jdbc源(sql数据库)传输到HDFS。我将数据导入hdfs,但它重复查询多次,我得到重复的数据。我尝试了很多选项,但它没有用。任何帮助将非常感激。

1 个答案:

答案 0 :(得分:0)

你可能会忽略更新sql以避免像这样的相同数据: <int-jdbc:inbound-channel-adapter query="select * from item where status=2" channel="target" data-source="dataSource" update="update item set status=10 where id in (:id)" />