Flink与Kafka Consumer并不起作用

Question

我想对Spark vs Flink进行基准测试，为此我正在做几个测试。然而Flink并不与Kafka合作，同时Spark也很完美。

代码非常简单：

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")
properties.setProperty("group.id", "myGroup")
println("topic: "+args(0))
val stream = env.addSource(new FlinkKafkaConsumer09[String](args(0), new SimpleStringSchema(), properties))
stream.print

env.execute()

我使用相同主题的kafka 0.9.0.0（在消费者[Flink]和制作人[Kafka控制台]中），但是当我将jar发送到集群时，没有任何反应：

Cluster Flink

它可能发生什么？

Answer 1

您的stream.print将不会在flink上的控制台中打印。它将写入flink0.9 / logs / recentlog。另外，您可以添加自己的记录器来确认输出。

Answer 2

对于这种特殊情况（链接到接收器的源），Web接口将永远不会报告发送/接收的字节/记录。请注意，这将在不久的将来发生变化。

请检查job- / taskmanager日志是否包含任何输出。