Windows Dev和Linux部署环境中MapReduce开发的标准方法

时间:2016-09-21 05:26:11

标签: java eclipse hadoop mapreduce

我是Java / Linux / Hadoop环境中的新手。所以我有一个非常基本的问题,我正在努力,需要社区的帮助。我一直在尝试使用Eclipse和Hadoop 2.0编写几个Map Reduce程序。我有一台带有Eclipse Neon的Windows机器作为我的开发环境。我能够编写MR程序,在Eclipse中添加Hadoop jar作为外部引用,并成功编译并创建runnable jar文件。我在使用Ubuntu 14.04的Oracle VirtualBox VM中安装了Hadoop。我正在尝试使用VM框中的Hadoop命令行客户端运行jar文件但是得到不同的错误,如ClassDefNotFound等。我认为这可能是一个问题,因为Hadoop依赖关系jar位置在开发和部署环境中是不同的。所以我需要在linux框中显式编译java类文件,然后运行jar文件。 由上述观点引起的一些更通用的问题是:

  1. 在Windows框中进行Java MapReduce开发然后在Linux环境中部署的专业或标准方法是什么?
  2. 人们建议使用Maven,但我想学习没有Maven的环境的行业标准实践。而Maven将再次成为我的学习曲线。所以只想学习使用vanilla java和eclipse做的步骤。
  3. 在Windows Dev和Linux Deploy环境下,是否有任何标准的传统方法可以对Java MapReduce进行调试和/或故障排除。
  4. 我知道这些问题可能非常基本,但在我进一步探索之前,我真的需要将其纳入一个定义明确的标准流程。一些基本的解释以及相关链接也可能是好的,因为我有时间阅读。

0 个答案:

没有答案