我正在研究各种分布式文件系统。
IBM通用并行文件系统(GPFS)是否支持自己的Map / Reduce作业?不使用第三方软件(如Hadoop Map / reduce)?
谢谢!
答案 0 :(得分:4)
2009年,GPFS扩展为与Hadoop无缝协作,作为GPFS-Shared Nothing Cluster架构,现在以GPFS文件放置优化器(FPO)的名义提供。如果应用程序需要,FPO允许完全控制所有副本的数据放置。当然,您可以轻松配置以匹配HDFS分配。
的详细信息答案 1 :(得分:0)
GPFS在Map / Reduce发布之前已经发展了几十年,就像分布式计算范式一样。 GPFS本身没有Map / Reduce功能。主要针对HPC,存储节点与计算节点不同。
因此,可以使用第三方软件(在所有Hadoop节点上安装GPFS)完成Map / Reduce,但由于所有数据都很远,所以它不会非常有效。没有数据位置可以使用。缓存或多或少都是无用的等等。