使用雪花功能Power BI增量刷新

时间:2020-03-31 21:48:46

标签: snowflake-cloud-data-platform

有人成功使用Snowflake作为数据源使用了PBI增量刷新吗?完全刷新我的数据集(不进行增量刷新)大约需要20分钟,但是启用增量刷新后,数据刷新会超时,因为它需要120分钟以上的时间。在Snowflake中查看查询历史记录时,看起来好像一次又一次执行“ SELECT *”查询,直到超时为止。

我看过一些文章说Snowflake不支持“查询折叠”,而另一些人则说它得到了部分支持。

任何清晰度都将不胜感激!

2 个答案:

答案 0 :(得分:1)

我们还尝试了多个选项来检查是否可以为Snowflake Power BI组合启用增量刷新。我们用来验证详细信息的两件事是

  1. 从Power BI发送的查询的雪花查询历史记录
  2. 在Power Bi Desktop中使用诊断功能,该功能将显示是否生成了源查询

这两个都表明查询折叠不起作用,因此进行了增量刷新。我们探索的另一个选择是我们是否可以利用Power BI Dataflow进行增量刷新。但这也不直接支持。

我们还计划再尝试一种“长切法”,这可能有助于我们实现增量刷新:

  1. 在Power Bi和雪花之间引入Azure ADLS gen2存储
  2. 我们需要引入需要增量加载到ADLS的数据
  3. 可以利用Power BI数据流对ADLS中的Power BI数据集进行增量刷新。

不确定是否适合您。一切顺利

谢谢, Prasanth

答案 1 :(得分:0)

从2020年8月开始,使用Snowflake进行的增量刷新在数据集和数据流中均有效。已通过Snowflake中的查询历史记录进行验证。