我有一个相当简单的数据流,我从平面文件导入,做一些简单的转换,并插入数据库表。我的问题是,当供应商在一行中输入的数据不符合他们的规范时(即他们说列将是放入500000的数字(3,2)),整个文件失败而不仅仅是一排。理想情况下,我想将不受影响的坏行重定向到平面文件,但将它们放入“错误表”也可以。如何重定向不可解析的数据?
答案 0 :(得分:1)
将失败的行从快速加载目标重定向到非快速加载。在第二个目的地失败的记录可以被重定向并进一步调查。
以下博文中的“使用快速加载时处理失败的插入”一节解释了这种设计模式:http://www.mattmasson.com/2011/12/design-pattern-avoiding-transactions/
答案 1 :(得分:0)
将Flatfile目标添加到Flatfile源。所有不良数据都将被发送到那里,过程不会失败。还要记住重定向行而不是让它失败。还必须创建一个普通的.txt文件来映射到flatfile目的地(与flatfile源相同)