如何在我的系统上拥有类似Amazon EC2的环境？

Question

我有这个hadoop项目，其他人编码（链接）。我是源头。我想在我的集群上实现这个（基本上是3台ubuntu机器）。但提及项目适用于EC2平台（使用Cloudera发行版）。

那么，我应该在我的系统上安装什么才能让它拥有运行这样一个项目的软件？

我想到了Oracle Java的Cloudera Manager。

Answer 1

如果项目使用cloudera发行版（不使用EMR），你可以安装cloudera，它应该没问题。我认为只有角落有问题 - 如果s3用作文件系统。
如果项目确实对s3有效，你有两种方法：
a）尝试将s3替换为hdfs和所有文件名/路径，它也应该正常工作（如果它们是硬编码的）。
b）安装OpenStack的Swift，它是S3的开源替代品，然后尝试在其上运行Hadoop。披露：我参与了在Swift上运行hadoop的项目。 https://github.com/Dazo-org/swift