Bigquery:数据集中的大量表会影响性能吗?

时间:2015-12-02 05:09:52

标签: google-bigquery

我目前正在使用大查询来存储用户信息,以计算针对大量日志数据的聚合结果。但由于无法修改数据。为了克服这个问题,我计划将每个用户记录存储在单独的表中。我知道bigquery支持从多个表查询,我可以使用它来获取所有信息。我对这里的疑问是

  • 随着用户数量的增长,与将所有用户存储在单个表中相比,性能会下降。
  • 如果biq查询中每个数据集的表数有任何限制
  • LI>


提前致谢

1 个答案:

答案 0 :(得分:4)

据我所知 - 数据集中的表数没有硬性限制 同时 - Native BQ UI限制了要显示的数据集中的前10,000个表。

另一个需要考虑的限制(仅举几例):
*每日更新限制:每桌每天更新1,000次;
*查询(包括引用的视图)最多可以引用1,000个表而不是更多; *查询中涉及的每个附加表(包含数百个表)会对性能产生相当大的影响 *即使每张桌子足够小 - 它仍然会以10MB的最低价格收费(即使它只有几KB)

不知道您的具体情况不允许提出一些建议,但至少您已经在问题中得到了答案。

总的来说,每个用户拥有一张桌子的想法对我来说听起来不太好