将Bluemix虚拟传感器连接到Spark服务的实例

Question

我是bluemix和Apache Spark的新手。我只是想使用针对Apache Spark的IBM分析执行一项小任务，我想使用Bluemix的虚拟传感器（https://virtualsensors.mybluemix.net/）创建虚拟传感器，并使用生成的数据作为火花流服务的输入和根据输入数据做一些分析。但是，我不知道如何连接这两个应用程序的实例，我被卡住了。如果有人可以帮助我会很棒。 谢谢，

Answer 1

从文档中，虚拟传感器只使用MQTT发出传感器数据，所以我想这就像用您选择的语言导入MQTT库并简单地将其连接到虚拟传感器一样简单。

你还没有真正指定你在Spark方面使用的是什么语言，但他们可能都会动摇：

1. Paho（Python，Java，Scala）
2. Scala-MQTT-client（特别是Scala）

对于如何使用它，Paho项目还包括一些关于MQTT如何工作的基本文档。

MQTT FAQ和this youtube video中涵盖了其他一些基础知识。

如果需要将JAR添加到笔记本中，则应该能够使用％AddJar命令。您可以阅读here - 向下滚动到标题为“将自定义库jar部署到Jupyter Notebook”的部分，以获取说明和示例用法。

Answer 2

我希望您通过this recipe，了解如何配置在IBM Bluemix中运行的Apache Spark Streaming以从实际传感器设备获取数据。我相信，您只需调整主题ID即可从虚拟传感器获取数据。

另外，请查看显示如何创建Spark-mqtt-connector Dstream的Github project，以便Spark服务可以实时使用事件。