bigquery中的数据丢失

Question

我制作了Python 3脚本来处理一些CSV文件，但是数据有问题。

我使用insert_rows函数发送到流，如果我仅导入一个文件，则CSV和BigQuery中的行相同，但是当我导入更多文件时，BigQuery丢失的行会尊重CSV文件，但是insert_rows不返回错误。

errors = connection.client.insert_rows(table_ref, info, selected_fields=schema)  # API request

感谢帮助

Answer 1

通过在CSV文件中添加新的唯一列，使用this Python Standard Library生成新列并在所有行中添加唯一ID来解决此问题。