BigQuery Load作业的无架构解决方案

Question

背景

我研究并发现bigQuery不接受在线工具定义的模式（具有不同的格式，即使含义相同）。 所以，我发现如果我想将数据（没有列的数据保持不变并动态增加）加载到具有固定模式的表中。

思想

我可以做的解决方法是：

1. 首先检查正在加载的数据是否有额外的字段。
2. 如果有，则会出现模式不匹配，因此首先在BQ中创建一个临时表，然后使用＆＃34; autodetect＆＃34;将此数据加载到表中。参数，它给我一个模式（格式，BQ接受模式文件）。
3. 现在我可以下载这个模式文件并使用它来更新我在BQ中的现有表格并使用适当的数据加载它。

建议

对此有任何想法，如果有更好的方法请分享。

Answer 1

我们正在发布一个新功能，可以在加载/查询作业中更新目标表的架构。使用自动检测和新功能，您可以直接将新数据加载到现有表中，并且模式将作为加载作业的一部分进行更新。敬请期待。目前的ETA是2周。