从查询创建表,同时保留原始模式

时间:2013-11-04 07:17:19

标签: google-bigquery

我正在使用以下工作流程从外部源向现有BigQuery表附加数据:

  1. 在表中查询最新记录:(从 test.table 中选择max(lastModifiedData))。将此数据另存为“lastMigrationTime”;
  2. 在“lastMigrationTime”
  3. 之后查询已更改的记录的外部来源
  4. 查询除了更新后的所有记录的大查询表:将结果保存到 test.tempTable
  5. tempTable 移至表格(使用删除表格,将tempTable复制到表格,删除tempTable)。
  6. 查询外部来源以获取更新的记录,并将其加载到 test.table
  7. 我面临的问题是表的原始模式包含嵌套元素。我运行的任何查询都会使架构变平,迫使我也要压缩原始架构。我看到的另一个副作用是列名称变为小写。

    有没有办法保留原始架构(主要是嵌套,但保持案例会很好)?

1 个答案:

答案 0 :(得分:0)

列名称大小写问题是一个已知错误,应该在我们的下一个版本中修复(希望在接下来的几天内)。

保留列嵌套是一项高优先级的功能请求。我们非常有兴趣支持这一点,但不幸的是,我没有任何时间框架可以完成。