当我们使用Apache点燃运行maprreduce时,映射器输出是否仍然写入本地文件系统,即映射器输出不会在内存中

时间:2016-10-03 07:55:23

标签: ignite

当我们使用ignite运行maprreduce时,映射器输出是否仍然写入本地文件系统,即映射器输出不会在内存中。因此映射器端的本地文件系统上的I / O操作仍然存在?

1 个答案:

答案 0 :(得分:0)

Hadoop将使用其配置文件中指定的文件系统。如果这个文件系统是IGFS,那么所有内容都将写在那里。

更新(从相应的用户线程http://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html复制粘贴)。

目前,映射器输出仅存储在内存中。我们正在研究溢出算法,根据一些预先配置的阈值将其部分刷新到磁盘。 根据作业日志,Ignite目前不支持它们,就像Hadoop一样。我们很快就会添加类似的功能。