有没有办法在Windows开发盒上开发和测试Map reduce程序

时间:2014-02-28 13:15:27

标签: java eclipse hadoop mapreduce

我想在部署到Hadoop集群之前在Windows 7机器上开发和测试Map reduce程序。

如果有可能,任何机构都能指出一些好的资源。

我在我的Windows机器上安装了eclipse,还需要开发什么以及测试map reduce程序。

2 个答案:

答案 0 :(得分:1)

您可以使用MRUnit http://mrunit.apache.org/

测试localy

答案 1 :(得分:0)

Linux是唯一支持生产的操作系统。我不知道你是否可以在Windows上安装Hadoop(我从未尝试过),但我建议你选择“Hadoop发行版”。

例如,您可以从HortonWorks或Cloudera(主要Hadoop播放器)获取VirtualBox图像并在Windows计算机上运行(用于开发和测试目的)。

该发行版通常包括Hadoop生态系统:Hadoop,HDFS,Pig,Hive,HCatalog,Impala ......

所有内容都配置为彼此兼容(实时保护)。