我使用spring xd singlenode将数据从jdbc源(sql数据库)传输到HDFS。我将数据导入hdfs,但它重复查询多次,我得到重复的数据。我尝试了很多选项,但它没有用。任何帮助将非常感激。
答案 0 :(得分:0)
你可能会忽略更新sql以避免像这样的相同数据:
<int-jdbc:inbound-channel-adapter query="select * from item where status=2"
channel="target" data-source="dataSource"
update="update item set status=10 where id in (:id)" />