Flink:使用DataSink`WriteetoCsv()`写入时丢失行

时间:2017-01-31 13:48:12

标签: java eclipse apache-flink flink-streaming

我正在flink中进行实时流分析。我正在阅读来自kafka的消息并对其进行一些处理。处理完毕后,我使用Datastream的git branch方法将结果写入.csv文件。我正在处理390万条消息,这导致我写入.csv文件的48232行最终结果。

当我写入.csv时,某些行未写入或部分写入文件,但是当我在eclipse控制台上打印相同的数据时,我打印了所有结果行。我正在使用eclipse本地环境来运行这个flink程序。

在使用WritetoCsv()将结果转储到.csv文件期间丢失行的原因是什么。

Eclipse Java堆大小= 2GB。

0 个答案:

没有答案