我正在尝试利用直接kafka使用者(python中提供的新功能),从我在localhost:9092上运行的自定义Kafka Producer中捕获数据。
我目前正在使用spark 1.6示例脚本提供的“direct_kafka_wordcount.py”。
DOCS : http://spark.apache.org/docs/latest/streaming-kafka-integration.html
我正在使用以下命令运行程序:
~/spark-1.6.0/bin/spark-submit --jars
~/spark-1.6.0/external/kafka-assembly/target/spark-streaming-kafka-assembly_2.10-1.6.0.jar
direct_kafka_wordcount.py localhost:9092 twitter.live
不幸的是,我收到一个奇怪的错误,我无法调试。任何提示/建议将非常感激。
py4j.protocol.Py4JJavaError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler.
: org.apache.spark.SparkException: java.nio.channels.ClosedChannelException
at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366)
at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366)
at scala.util.Either.fold(Either.scala:97)
at org.apache.spark.streaming.kafka.KafkaCluster$.checkErrors(KafkaCluster.scala:365)
at org.apache.spark.streaming.kafka.KafkaUtils$.getFromOffsets(KafkaUtils.scala:222)
at org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper.createDirectStream(KafkaUtils.scala:720)
at org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper.createDirectStreamWithoutMessageHandler(KafkaUtils.scala:688)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
at py4j.Gateway.invoke(Gateway.java:259)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:209)
at java.lang.Thread.run(Thread.java:745)
答案 0 :(得分:4)
错误:
java.nio.channels.ClosedChannelException
表示topic
不存在,或者无法访问代理或存在某种网络(代理)问题。
在火花kafka-console-consumer
&上运行master
,确保没有此类连接问题。 slave
个节点。
答案 1 :(得分:1)
我有类似的问题。但结果是不同的解决方案。我有不同版本的scala运行spark和kafka。
我最终在两边使用相同版本,然后pyspark能够生成类。
我使用了以下
Spark:spark-1.6.3-bin-hadoop2.6.tgz Spark-Streaming-kafka:spark-streaming-kafka-assembly_2.10-1.6.3.jar
答案 2 :(得分:0)
在我的案例中,来自kafka的消费者话题:
获取错误,程序退出。
所以我检查metadata.broker.list
,只添加了一个经纪人。
添加除了其中一个之外的所有经纪人。
一切顺利,但仍然得到警告org.apache.spark.SparkException: java.nio.channels.ClosedChannelException
,所以我从zk检查kafka经纪人状态,发现一个经纪人被破坏了,这会产生这样的错误。