将500 GB数据导入Power BI

Question

我想将500 GB数据集导入Power BI，但Power BI限制为1 GB。如何将数据导入Power BI？

感谢。

Answer 1

对于500GB，我绝对推荐直接查询模式（如Joe建议的那样）或live connection to a SSAS cube。在这些方案中，数据模型托管在单独的位置（例如数据库服务器），Power BI将其查询发送到该位置并显示返回的结果。

但是，我补充一点，1GB限制是压缩后的限制。 （这意味着您可以将超过1GB的未压缩数据放入公布的1GB数据集限制中。）

虽然将500GB数据集减少到1GB（即使使用压缩）也是非常困难的，但是一旦了解压缩在Power BI中的工作方式，就可以做些事情。

在Power BI中，压缩是按列完成的，而不是按行完成的。因此，具有相同值的8亿行的列可以看到显着的压缩。同样，每行中具有不同值的列也不能进行太多压缩。

因此：

1. 不要导入您不需要进行分析的列（特别是标识列，GUID，自由格式文本字段或二进制数据，如图像）
2. 查看具有高度可变性的列，看看是否也可以消除它们。
3. 尽可能减少色谱柱的可变性。例如。如果你只需要一个日期＆amp;不是时候，不要导入时间。如果您只需要整数，请不要导入7位小数。
4. 减少行数。如果您无法消除高变异性列，那么导入1年的数据而不是17年（例如）也会减少数据模型的大小。

Marco Russo＆amp; SQLBI团队拥有许多用于进一步优化数据模型大小的良好资源（SSAS表格，Power Pivot和Power BI都使用相同的底层建模引擎）。例如：Optimizing Multi-Billion Row Tables in Tabular

Answer 2

如果有可能给出您的源数据，您可以使用直接查询模式。 1 GB限制不适用于Direct Query。直接查询模式有一些限制，因此请查看文档以确保它符合您的需求。

可以找到一些文档here。

Answer 3

1）对sql端的数据进行聚合__reduce size
2）仅导入有用的列_________________缩小