如何确保BI Engine正在运行?

时间:2019-04-19 15:33:22

标签: google-cloud-platform google-bigquery google-bi-engine

我已按照此处找到的教程进行操作 https://cloud.google.com/bi-engine/docs/getting-started-data-studio 我也尝试在我使用(伦敦)的区域中为自己的数据集进行保留。我没有看到“之前”和“之后”的任何区别,也看不到StackDriver中的任何日志。因此,我认为它出于任何原因均无法正常工作。但是我不知道如何开始调试-似乎它应该以某种方式自动集成到BigQuery工作流程中,而无需任何其他配置,但是这使得测试和调试非常复杂!

我不确定从哪里开始。我假设一旦正确启用BI Engine,我的“ DataStuio Explorer”交互速度将提高N倍。这是正确的假设吗?

1 个答案:

答案 0 :(得分:0)

BQ BI Engine仍处于beta版本,但是GCP中有一些信息可以回答您的查询:

  • 我没有看到“之前”和“之后”的任何区别,而且在StackDriver中也看不到任何日志。因此,我认为它出于任何原因均无法正常工作。

创建预订后,该预订将可用,并且将收取费用,而不是在Beta版期间,而是在将其发布给GA时。

有关Stackdriver日志和指标的详细信息,请参阅Monitoring BI Engine with Stackdriver

例如,在BigQuery Project日志中,您会找到以下类型的条目:

[TIMESTAMP] BigQuery BI Engine API CreateReservation欧洲

这些日志条目表明BI Engine已启用并且正在运行;容量已保留但尚未使用。该教程指定了在某些情况下使用BI Engine,请参阅我的下一个答案。

  • 但是我不知道如何开始调试它-似乎它应该以某种方式自动集成到BigQuery工作流程中,而无需任何其他配置

您正在遵循的教程指示“ BI Engine uses the table and columns you configure to determine what data to cache. BI Engine only caches the columns you add to your report”。由于预订是在美国位置创建的,因此,如果将您的结果与同一位置的其他数据集进行比较,则将使用相同的容量预订,并且很可能在时间执行上不会发现差异。为了验证这一点,您可能想在没有容量预留的位置使用数据集并比较执行时间。

  • 我假设一旦正确启用BI引擎,“ DataStuio Explorer”的交互速度将提高N倍。这是正确的假设吗?

是正确的,因为BI Engine是一种“内存中分析服务”,与插槽使用情况相比,它将提供更快的响应。只要考虑一下文档中还指出“ If you run a query that produces query results larger than the size of your BI Engine capacity, the BI Engine self-tuning feature uses BigQuery slots to run the query”,如果您的数据总是超出容量预留,那么很可能您不会注意到任何性能改进。

最后,请注意,这是Beta版产品,并且支持有限。