Excel Power Query(aka Get and Transform)更新后速度降低10倍

时间:2018-11-14 14:55:03

标签: excel ssas dax powerquery

一段时间以来,我一直在使用Excel Data Get and Transform(即Power Query)来通过SSAS向导从我们的数据仓库Excel BI服务器中查询数据。

许多此类查询提取了500,000条记录(最多3或400万行),直到2018年8月1日左右才开始无法完成。

在构建了一个最小的测试查询(QueryTest)之后,在“故障模式”下大约一个小时内它仅勉强返回了450k条记录。我们有一个主要假设:Office / Excel版本更新似乎是原因。

如果我们使用早期版本的MS Office 365(例如,大约运行1705版8201.2200,请单击运行),那么QueryTest会在大约6分钟内返回所有450k记录。如果我们使用当前的更新版本的Excel(v 1803,内部版本9126.2295),则测试运行有时会在一个小时内超时或根本不超过1/2小时后才完成。 (请参阅正常运行6分钟的表格。)

在快速的早期版本的Excel中,Excel功能区的“数据”选项卡提供了“显示查询”和“显示连接”的单独菜单项,并且每个命令都打开一个不同的面板。

在“残破的”更高版本中,“显示查询和连接”只有一项,并且打开的面板包含“查询和连接”选项卡。

我已经进行了很多测试。无论哪个笔记本电脑运行查询,无论使用哪个用户帐户,无论笔记本电脑是直接连接到公司LAN / WAN还是通过VPN连接,并且通常不考虑地理位置,都将产生相同的结果。在某些位置,QueryTest的性能较差,这可能是因为更好的网络性能或延迟。

我们还在不存在问题的Citrix上使用Excel,但是看来我们的Citrix版本的Excel是“查询”和“连接”菜单分开的“较旧”版本之一。

我们已经测试了趋势科技(我们的防病毒程序)是否被删除,相对性能差异没有任何变化。

我的猜测是,安全和/或访问协议已经以某种方式发生了变化,导致从服务器返回的结果处理或打包速度变慢,但这甚至不是科学的WAG。

那么,是否有人知道可能导致更新的更新,更重要的是,如何配置服务器和/或客户端查询以重新获得速度?

测试结果:

Test Name       Records Seconds Records/Sec Complete
Old version 1    454,781    140  3,248.44   yes
Old version 2    454,781    137  3,319.57   yes
Old version 3    454,781    141  3,225.40   yes
New version 1    101,284    360  281.34     No
New version 2    94,836     360  263.43     No
New version 3    107,236    360  297.88     No

1 个答案:

答案 0 :(得分:0)

这可能有点晚了,但可以帮助其他人。如果在使用 Power Query 时下载速度突然变慢,我会使用新的 Power Query 连接创建一个新选项卡(使用与旧选项卡相同的查询......只是在新选项卡上),它似乎运行得更快。