我有一个talend作业,它将db表读入tMap并将结果存储在另一个db表中。目标表设置为"插入"只有在运行作业之前,我才会删除目标表,以便始终重新开始。我有一个错误记录器来处理写入目标表的问题
我处理了大约150k行,它踢出了41k的那些说重要PRIMARY的重复条目。
虽然我确实在检查错误记录器时会出现一些重复,但是有些行检测到重复键但在目标表中找不到匹配的值。
任何想法可能会发生什么?很难理解,因为tMap组件上也存在错误处理,但是一旦从tMap向它发送批准的行,它实际上是写入db表的一个问题
它的价值。我使用Talend DI 5.6.1读取和写入相同的数据库模式但MySQL db 5.6.17上的不同表
包含它有用我有许多使用相同源和目的地的子工作但只是在每次执行时略微改进城市价值 来源架构
<?xml version="1.0" encoding="UTF-8"?>
<schema dbmsId="mysql_id">
<column comment="" default="" key="true" label="Column22"
length="50" nullable="false" originalDbColumnName="Column22"
originalLength="0" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="city" length="50"
nullable="true" originalDbColumnName="city" originalLength="0"
pattern="" precision="0" talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="CountryCode"
length="3" nullable="true" originalDbColumnName="CountryCode"
originalLength="0" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="svc_area_code"
length="20" nullable="true" originalDbColumnName="svc_area_code"
originalLength="0" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
</schema>
目标架构
<?xml version="1.0" encoding="UTF-8"?>
<schema dbmsId="mysql_id">
<column comment="" default="" key="true" label="Column22"
length="50" nullable="true" originalDbColumnName="Column22"
originalLength="0" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="city" length="50"
nullable="true" originalDbColumnName="city" originalLength="0"
pattern="" precision="0" talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="CountryCode"
length="3" nullable="true" originalDbColumnName="CountryCode"
originalLength="3" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
<column comment="" default="" key="false" label="svc_area_code"
length="20" nullable="true" originalDbColumnName="svc_area_code"
originalLength="20" pattern="" precision="0"
talendType="id_String" type="VARCHAR"/>
</schema>
答案 0 :(得分:0)
您始终可以尝试进行合并插入,这将更新键重复项上的行。