如何使用Spark with Java从Azure eventhub中使用数据

Question

有一些教程可用于接收来自azure eventhub的事件，这些事件仅使用JAVA

编写

但是我没有得到任何帮助，使用带有java的来编写 azure eventhub消费者代码

任何人都可以帮助一些教程或指导我正确的方向吗？

Answer 1

您可以按照本文中的说明使用Spark中的Java使用Azure事件中心。

https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-java-get-started-receive-eph

但是，如果您正在尝试创建一个长期运行的Spark Streaming作业，我建议您在Scala中编写作业，而不是Java。我也有用Java编写的工作，当我们决定从Kafka交换到Azure事件中心以获取消息队列时。我们能够使用直接接收器方法连接到事件中心，基于此文件https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-eventhub-streaming从Scala转换为Java，但是在Java中使用生成的流很困难。

祝你好运！