对于行不完整的CSV加载，BigQuery是否有“填充记录”模式？

Question

我们一直在从我们的Web应用程序中收集结构化日志，该应用程序输出一个以管道分隔的CSV文件。随着时间的推移，我们一直在添加有关新信息结尾的额外信息。

例如，我们的旧数据有14列，较新的数据有15或16列。

是否有一个可以在加载期间传入的标志（如“fillrecord”）将旧数据上的缺失列视为空值？

Answer 1

现在可以在BigQuery中使用您要求的功能。如果您正在运行bq.py（您需要最新版本），则可以添加--allow_jagged_rows标志。如果您直接使用api，则在加载配置中将'allowJaggedRows'设置为true应该有效。