Azure IotHub到Spark结构流式传输到COSMOS DB（with and wo Kafka）

Question

1. 对于第一种情况，我想在入口使用Iot Hub并在输出使用Cosmos DB的Spark结构化流。我使用了以下连接器：
   • azure-eventhubs-spark_2.11-2.3.2
   • azure-cosmosdb-spark_2.3.0_2.11-1.2.0（不是直接通过导入uber jar与Maven一起使用

事实是，当我尝试将数据导入Cosmos DB时，出现以下错误：

  

“ java.lang.assertionError：断言失败：接收到的序列号1790与请求序列号1791不匹配”

1. 使用Kafka：我尝试了使用Iot Hub和Kafka的另一种解决方案，以将Kafka用作Spark结构化流媒体（而不是Event Hub连接器）中的采购。但是在完成有关Kafka的所有配置后，我出现以下错误：

  

“找不到任何实现Connector且名称与com.microsoft.azure.iot.kafka.connect.source.IotHubSourceConnector匹配的类”。

别名存在问题。 您是否认为这是因为我们使用的是Iot Hub而不是Event Hub？

=>我将尝试第三个解决方案，即使用Stream Analytics推入Cosmos DB，然后实施Cosmos DB更改Feed，以将其用作Spark结构化流媒体中的入口。希望这会成功。

非常欢迎您提供上述两种情况的建议！

Answer 1

我正在使用@Tidjoe，现在解决方案正在工作。

这就是我们正在使用的连接器：

• azure-eventhubs-spark_2.11-2.3.4
• azure-cosmosdb-spark_2.3.0_2.11-1.2.0（不是直接通过导入uber jar与Maven一起使用

我们的解决方案是在入口处使用Eventhub或IotHub。

谢谢您的发布！