火花如何管理它的记忆

时间:2016-04-11 15:27:40

标签: apache-spark spark-streaming

我是Spark的新手,我正在尝试处理火花流中的csv文件(超过1000 /秒),每个文件包含大约50,000行。如果我的内存已满,文件仍然存在。
火花如何反应?
他们的文件管理系统(FIFO,......)是什么? 我怎么知道哪些是经过处理的文件,哪些还有?

0 个答案:

没有答案