当我们使用ignite运行maprreduce时,映射器输出是否仍然写入本地文件系统,即映射器输出不会在内存中。因此映射器端的本地文件系统上的I / O操作仍然存在?
答案 0 :(得分:0)
Hadoop将使用其配置文件中指定的文件系统。如果这个文件系统是IGFS,那么所有内容都将写在那里。
更新(从相应的用户线程http://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html复制粘贴)。
目前,映射器输出仅存储在内存中。我们正在研究溢出算法,根据一些预先配置的阈值将其部分刷新到磁盘。 根据作业日志,Ignite目前不支持它们,就像Hadoop一样。我们很快就会添加类似的功能。