我正在flink中进行实时流分析。我正在阅读来自kafka的消息并对其进行一些处理。处理完毕后,我使用Datastream的git branch
方法将结果写入.csv文件。我正在处理390万条消息,这导致我写入.csv文件的48232行最终结果。
当我写入.csv时,某些行未写入或部分写入文件,但是当我在eclipse控制台上打印相同的数据时,我打印了所有结果行。我正在使用eclipse本地环境来运行这个flink程序。
在使用WritetoCsv()
将结果转储到.csv文件期间丢失行的原因是什么。
Eclipse Java堆大小= 2GB。