GCP Datafusion从GCS重复相同的数据

Question

我有一个管道，该管道从存储中读取20个文件，并从中提取每个文件的路径并加载到表中。理想情况下，记录数应为20，但是当我执行管道时，同一记录一次又一次地飞行，从而使总记录数无限期增加。我想知道我在这里是否犯了任何错误。

Answer 1

我只是复制了这个问题。我的猜测是您要在BigQuery中为文件中的每条记录插入一条记录。例如，如果选择Blob格式，则每个文件只有一个记录。