我正在运行Kafka服务器。 (当我使用命令bin / kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning时,它给出了我主题中的所有ma数据。)
当我想在spark中测试示例JavaDirectKafkaWordCount以了解它是如何工作时我得到以下错误:
$ ./run-example streaming.JavaDirectKafkaWordCount localhost:2181 test 使用Spark的默认log4j配置文件:org / apache / spark / log4j-defaults.properties 16/08/17 11:19:33 INFO StreamingExamples:为流示例设置日志级别为[WARN]。要覆盖,请将自定义log4j.properties添加到类路径中。 16/08/17 11:19:33 WARN NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类 16/08/17 11:19:33 WARN Utils:你的主机名localhost.localdomain解析为一个环回地址:127.0.0.1;改为使用10.66.212.132(在接口enp5s0上) 16/08/17 11:19:33 WARN Utils:如果你需要绑定到另一个地址,请设置SPARK_LOCAL_IP 线程“main”中的异常org.apache.spark.SparkException:java.io.EOFException:从通道读取时收到-1,套接字可能已关闭。 在org.apache.spark.streaming.kafka.KafkaCluster $$ anonfun $ checkErrors $ 1.apply(KafkaCluster.scala:366) 在org.apache.spark.streaming.kafka.KafkaCluster $$ anonfun $ checkErrors $ 1.apply(KafkaCluster.scala:366) 在scala.util.Either.fold(Either.scala:97) 在org.apache.spark.streaming.kafka.KafkaCluster $ .checkErrors(KafkaCluster.scala:365) 在org.apache.spark.streaming.kafka.KafkaUtils $ .getFromOffsets(KafkaUtils.scala:222) 在org.apache.spark.streaming.kafka.KafkaUtils $ .createDirectStream(KafkaUtils.scala:484) 在org.apache.spark.streaming.kafka.KafkaUtils $ .createDirectStream(KafkaUtils.scala:607) 在org.apache.spark.streaming.kafka.KafkaUtils.createDirectStream(KafkaUtils.scala) 在org.apache.spark.examples.streaming.JavaDirectKafkaWordCount.main(JavaDirectKafkaWordCount.java:71) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Method.invoke(Method.java:497) 在org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:731) 在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:181) 在org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:206) 在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:121) 在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我想知道错误意味着什么以及如何解决它。
非常感谢您的关注和帮助。
乔