IBM通用并行文件系统(GPFS)是否支持Map / Reduce作业?

时间:2011-05-23 16:04:57

标签: filesystems hadoop

我正在研究各种分布式文件系统。

IBM通用并行文件系统(GPFS)是否支持自己的Map / Reduce作业?不使用第三方软件(如Hadoop Map / reduce)?

谢谢!

2 个答案:

答案 0 :(得分:4)

2009年,GPFS扩展为与Hadoop无缝协作,作为GPFS-Shared Nothing Cluster架构,现在以GPFS文件放置优化器(FPO)的名义提供。如果应用程序需要,FPO允许完全控制所有副本的数据放置。当然,您可以轻松配置以匹配HDFS分配。

查看http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/index.jsp?topic=%2Fcom.ibm.cluster.gpfs.v3r5.gpfs200.doc%2Fbl1adv_fposettings.htm

的详细信息

答案 1 :(得分:0)

GPFS在Map / Reduce发布之前已经发展了几十年,就像分布式计算范式一样。 GPFS本身没有Map / Reduce功能。主要针对HPC,存储节点与计算节点不同。

因此,可以使用第三方软件(在所有Hadoop节点上安装GPFS)完成Map / Reduce,但由于所有数据都很远,所以它不会非常有效。没有数据位置可以使用。缓存或多或少都是无用的等等。