我做什么:
我使用电源查询构建了ETL流程,以将多个Excel文件中的数据(生产机器停止历史记录)直接加载到PowerBI中。
在每个新班次中(每8个小时一次),生产机器都会生成一个新的excel文件,也需要将其加载到数据模型中。
我是怎么做到的:
为此,电源查询将处理在特定文件夹中找到的所有文件。
问题:
在查询刷新期间,它需要一次又一次地处理所有数据文件(旧文件+新文件)。
如果我从文件夹中删除了旧文件,那么在下一个刷新周期内,电源查询也会从数据模型中删除数据。
我需要什么/我的问题:
批处理将新文件复制到文件夹中,同时删除所有旧文件。
是否有可能配置强大的查询,使其保留数据模型中的现有数据并仅使用新文件中的数据进行扩展?
我要避免的事情:
我知道建立数据库将是一个解决方案,但这需要具有新ETL流程的第二个系统。但是电源查询在预处理数据方面已经做得非常好!因此,如果可以的话,如果可以直接在电源查询/电源bi中解决此问题,将不胜感激。
答案 0 :(得分:0)
如果您想用大炮射击麻雀,可以尝试incremental refresh,但这是高级功能。
在Power BI中,刷新数据集会重新加载它,因此首先要清除它,然后第二步-您将需要所有文件来重新加载它们并重新计算所有内容。如果您不希望这样做,则必须更改ETL以将数据存储在报表数据集之外(例如,数据库是一个很好的选择),或者将新文件中的push the data仅更改为数据集(在您的情况下,我不建议这样做)。
总结-最好的解决方案是建立ETL流程并将数据放入数据仓库,然后将其用作报表的数据源。