我需要创建一个管道来从文件夹中读取CSV,将第8行的数据加载到Azure SQL表中,第5个Frist行将进入另一个表([tblMetadata])。
到目前为止,我已经使用“查找活动”完成了此任务,工作正常,但是其中一个文件大于6 MB,并且失败。
我检查了Lookup中的所有选项,阅读了有关“复制活动”的所有内容(我用来加载主数据-跳过7行)。管道是使用GUI创建的。
Lookup的输出用作存储过程的参数,以插入到tblMetadata中
有人可以建议我如何处理吗?目前,我正在接受培训,没有人可以在现场帮助我。
答案 0 :(得分:0)
您可能可以通过一个具有两个转换的数据流活动来做到这一点。
您将使用Source转换,该转换使用文件夹路径和通配符从文件夹中读取,然后添加条件拆分转换以将不同的行发送到不同的接收器。
答案 1 :(得分:0)
我以不同的方式进行了解决,导入了修改的CSV,以便在第一行中包含完整的元数据(因为这是我的不同项目的一部分)。然后仅在Lookup中使用FirstRow。