spark的错误:从通道读取时收到-1,插座可能已关闭。这是什么意思?

时间:2016-08-17 09:29:39

标签: apache-spark apache-kafka spark-streaming

我正在运行Kafka服务器。 (当我使用命令bin / kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning时,它给出了我主题中的所有ma数据。)

当我想在spark中测试示例JavaDirectKafkaWordCount以了解它是如何工作时我得到以下错误:

$ ./run-example streaming.JavaDirectKafkaWordCount localhost:2181 test 使用Spark的默认log4j配置文件:org / apache / spark / log4j-defaults.properties 16/08/17 11:19:33 INFO StreamingExamples:为流示例设置日志级别为[WARN]。要覆盖,请将自定义log4j.properties添加到类路径中。 16/08/17 11:19:33 WARN NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类 16/08/17 11:19:33 WARN Utils:你的主机名localhost.localdomain解析为一个环回地址:127.0.0.1;改为使用10.66.212.132(在接口enp5s0上) 16/08/17 11:19:33 WARN Utils:如果你需要绑定到另一个地址,请设置SPARK_LOCAL_IP 线程“main”中的异常org.apache.spark.SparkException:java.io.EOFException:从通道读取时收到-1,套接字可能已关闭。         在org.apache.spark.streaming.kafka.KafkaCluster $$ anonfun $ checkErrors $ 1.apply(KafkaCluster.scala:366)         在org.apache.spark.streaming.kafka.KafkaCluster $$ anonfun $ checkErrors $ 1.apply(KafkaCluster.scala:366)         在scala.util.Either.fold(Either.scala:97)         在org.apache.spark.streaming.kafka.KafkaCluster $ .checkErrors(KafkaCluster.scala:365)         在org.apache.spark.streaming.kafka.KafkaUtils $ .getFromOffsets(KafkaUtils.scala:222)         在org.apache.spark.streaming.kafka.KafkaUtils $ .createDirectStream(KafkaUtils.scala:484)         在org.apache.spark.streaming.kafka.KafkaUtils $ .createDirectStream(KafkaUtils.scala:607)         在org.apache.spark.streaming.kafka.KafkaUtils.createDirectStream(KafkaUtils.scala)         在org.apache.spark.examples.streaming.JavaDirectKafkaWordCount.main(JavaDirectKafkaWordCount.java:71)         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)         在java.lang.reflect.Method.invoke(Method.java:497)         在org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:731)         在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:181)         在org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:206)         在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:121)         在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我想知道错误意味着什么以及如何解决它。

非常感谢您的关注和帮助。

0 个答案:

没有答案