将json格式数据加载到google bigquery性能问题中

Question

我已将JSON格式数据结构加载到Google bigquery“嵌套”表格中（我有2个级别的嵌套“重复”记录）JSON行的平均长度为5000个字符。 加载时间比将平面文件（总大小相同）加载到Google bigquery中慢得多。

1. 将json加载到嵌套记录时有什么“拇指规则”？

2. 如何改善表现？

3. 在性能查询方面，从嵌套表中检索日期比平面表更慢吗？

请帮助，我发现很难在该地区找到经验丰富的“DBA”

问候

Answer 1

1. 我不知道json导入的任何原因应该更慢，但我们还没有对它们进行基准测试。

2. 如果perf很慢，您可能最好不要将导入分成块并将多个源文件传递到加载作业。

3. 从嵌套表中检索数据应该更慢（并且可能更快）。柱状存储格式应该比相应的平面表更有效地存储嵌套数据。