使用Spark Streaming消费卡夫卡主题

Question

我有3个节点和1个zookeeper节点的远程kafka服务器。此外，我还有一个启用HDP的集群，其中运行了spark和其他组件。 我在Kafka中创建了一个示例主题，并尝试通过Spark消费时总是出错。

1. 当我第一次进行Spark提交时，我知道我的Spark使用者正在建立联系并向我展示主题的结果。

2。当我第二次提交火花时，我得到

  

线程“ main”中的异常java.lang.ClassCastException：kafka.cluster.BrokerEndPoint无法转换为kafka.cluster.Broker。

1. 当我再次重新启动我的kafka服务器并执行spark提交时，代码工作正常，如果我再次执行，则再次出现上述错误。

有人遇到这样的问题吗？因为我不知道这是什么错误。 我还更改了库依赖项的许多版本，错误不断出现。以下是我的库依赖项：

name := "consumers"

version := "0.1"

scalaVersion := "2.10.4"

val sparkVersion = "1.6.3"
libraryDependencies +=  "org.apache.spark" % "spark-streaming_2.11" % "2.2.0"
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka_2.10" % "1.6.3"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.3"

尝试了所有版本的spark和kafka，但上述错误均相同。