大查询GSheet上传

时间:2018-05-07 12:38:16

标签: google-sheets google-bigquery bigdata

将GSheet连接到Big Query很容易,也是一个非常酷的功能,但速度非常慢。看起来像通过ETL过程等存储的数据实际上存储在Big Query中,而G-Sheets只是连接了#34;。是否有某种方式可以更有效地存储数据,或者其他人是否有相同的经验并知道解决方法?

1 个答案:

答案 0 :(得分:1)

Google Sheet的问题不仅缓慢 - 而且还有潜在的人为参与编辑过程。所以有人只是来编辑(通过删除列:)) - 所有的查询将停止工作。 我们实施的理念:

  1. 在电子表格上创建联合表格T1
  2. 定期转储(取决于需要新鲜度)数据从T1到真正的bigquery表T2并覆盖所有内容。
  3. 到处使用T2
  4. 结果:你得到了快速查询(没有涉及联合对象) - 如果有人破坏电子表格 - 它不会从T1转到T2 - 你会知道问题,但同时所有查询将继续工作而没有问题最后已知的良好数据。

    根据想法,你可以从电子表格上的修改事件开始加载 - 但我不会走这条路 - 涉及的动作部分太多而且Gscripts的可靠性仍然不是很高