从数据湖中读取元数据CSV,太大而无法进行查找活动

时间:2019-10-21 19:54:05

标签: azure-sql-database azure-data-factory

我需要创建一个管道来从文件夹中读取CSV,将第8行的数据加载到Azure SQL表中,第5个Frist行将进入另一个表([tblMetadata])。

到目前为止,我已经使用“查找活动”完成了此任务,工作正常,但是其中一个文件大于6 MB,并且失败。

我检查了Lookup中的所有选项,阅读了有关“复制活动”的所有内容(我用来加载主数据-跳过7行)。管道是使用GUI创建的。

Lookup的输出用作存储过程的参数,以插入到tblMetadata中

有人可以建议我如何处理吗?目前,我正在接受培训,没有人可以在现场帮助我。

2 个答案:

答案 0 :(得分:0)

您可能可以通过一个具有两个转换的数据流活动来做到这一点。

您将使用Source转换,该转换使用文件夹路径和通配符从文件夹中读取,然后添加条件拆分转换以将不同的行发送到不同的接收器。

答案 1 :(得分:0)

我以不同的方式进行了解决,导入了修改的CSV,以便在第一行中包含完整的元数据(因为这是我的不同项目的一部分)。然后仅在Lookup中使用FirstRow。

相关问题