Question

我有一个Spark scala使用者，它连接到另一个群集上的Kafka代理（Kafka群集与CDH群集分开）。 params是我的Kafka params正确拾取。

val incomingstream = KafkaUtils.createDirectStream[String, String](
  streamingContext, .....](topicSet, params))
print(incomingstream)

我能够在我的Kafka集群的控制台上制作和使用。但是在运行具有上述代码的spark消费者时，它只是在等待，即使我通过kafka控制台生成器发送消息，它也不会显示在日志打印上。 incomingstream没有打印出来。

我已经从运行spark job的节点连接到kafka集群。以纱线模式提交。显示与kafka经纪人的连接。（不确定问题是否是因为Kerberos ...在日志中没有说..）

使用CDH 5.10

Spark 2.2

Kafka 0.10

Scala 2.11.8

编辑：Kafka Params传入如下。从火花作业连接好我的kafka经纪人 - 打印日志

    "bootstrap.servers" -> "<domain>:9092",
    "key.deserializer" -> classOf[StringDeserializer],
    "value.deserializer" -> classOf[StringDeserializer],
    "auto.offset.reset" -> "latest",
    "enable.auto.commit" -> (false: java.lang.Boolean),
    "security.protocol" -> "PLAINTEXT"

我的Kafka监听器被配置为明文（而非SSL） - 但如果我通过上述内容，则抱怨

Selector:375 - Connection with 10.18.63.18 disconnected
java.io.EOFException
    at org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:83)
    at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:71)

Spark消费者没有收到Kafka消息

0 个答案: