Kafka源和HDFS汇入Spring云数据流

Question

我正在使用Kafka作为源代码，我想使用HDFS sink将Kafka上的消息写入HDFS。但是我看到文件是在HDFS上创建的，但是Kafka上的消息没有写入HDFS文件。请查找在Stream DSL之下。

GridLayoutManager

请帮我解决这个问题。

Answer 1

可能是数据尚未写入hdfs磁盘。您可以在测试时强制刷新/同步。尝试以每10秒将数据写入hdfs的方式设置--hdfs.enable-sync=true --hdfs.flush-timeout=10000，无论缓冲区是否已满。