Hadoop安装和配置：在同一主机上并排使用多个版本

Question

我们可以在伪分布式模式下在同一系统上安装不同版本的Hadoop吗？

实际上我想探索不同版本的hadoop-1.x和hadoop-2.x的功能，我在两个运行Linux的不同系统上配置了hadoop-1.x和hadoop-2.x。有没有办法在同一台机器上配置？

Answer 1

是的，可以在同一台主机上并排安装多个版本的Hadoop软件。

• 将不同版本的Hadoop软件解压缩到不同的子目录中。
• 为不同版本创建单独的配置文件（core-site.xml，hdfs-site.xml，yarn-site.xml等），并将这些文件集保存在不同的目录中。
• 确保为使用本地存储的内容配置不同的目录，例如hdfs-site.xml中的dfs.namenode.name.dir和dfs.datanode.data.dir。这两个版本应该具有彼此隔离的数据。或者，如果您想尝试在两个不同版本之间共享数据，并且一次只运行一个版本，那么您可能能够实现这一目标。根据所涉及的软件版本，您可能会遇到数据不兼容或需要运行升级命令。
• 如果要同时运行多个版本，请确保为hdfs-site.xml中的dfs.namenode.rpc-address和yarn-site.xml中的yarn.server.resourcemanager.address配置了不同的服务器端口。
• 调用命令时，请设置HADOOP_HOME和HADOOP_CONF_DIR等环境变量，以控制要执行的版本以及要使用的配置。

以上所有内容适用于手动部署的安装，例如使用Apache Hadoop发行版。对于Bigtop发行版或供应商发行版，rpm / deb /等。包装可能不太容忍并排部署。