Spark流向Power BI

Question

顾名思义，我希望在Power BI中看到实时数据。我已经构建了管道，直到我处理数据的火花流，现在我想进入Power BI。最好使用Python。

现在根据我的理解，可能会有不同的方式，如下所述。

1. 将流式数据存储到Azure Blob中，并在电源BI中进行实时连接。我在纸面上知道这听起来很完美，但是可以这样做吗？
2. 第二种方法是在Power BI中制作推送数据集，获取REST API URL并将请求从Spark流式传输到它。所以我的问题是，是否可以从火花流向Power BI发送POST请求？谷歌只告诉我在Spark发送请求。没有关于Spark流媒体的内容。
3. 使用PubNub SDK。可能吗？基本上如何将数据从spark流式传输到PubNub用户？
4. 将Spark流摄取到HBASE中，然后使用它在PowerBI中建立实时连接。有可能吗？

我的目标是减少潜伏期。

非常感谢任何帮助。

Answer 1

这可能不是最好的方法。我认为最好的方法是编写自己的structured streaming integration。但是，您可以使用PubNub。以下是一些 Python 代码，用于在PubNub频道上发布仪表板数据。

import requests

def publishRecord(record):
        requests.get('http://pubsub.pubnub.com/publish/publish_key_here/subscribe_key_here/0/pubnub_channel_name/0/' + str(record))   

rdd.foreach(publishRecord)

您可以使用 TypeScript 在信息中心订阅此同一频道。