我正在寻求帮助,我的任务是在工作中建立一个Hadoop集群。我在家里使用开源堆栈在笔记本电脑上做了单节点的东西(我试图坚持开源,Apache堆栈以避免任何许可成本。现在我们对Cloudera或HortonWorks没兴趣。)。
我偶然发现了Apache BigTop堆栈(1.2.0)并在那里进行了搜索。现在我仍然试图绕过它所提供的内容(我还没有找到对Hadoop / Spark版本的引用等)。我可以从以下方面获得一些帮助:
1.2.0版本提供哪些版本的Hadoop / Spark /其他工具?
在RHEL 7下是否有从头开始安装完整Hadoop / Spark群集的良好参考?我有12台服务器,我计划做2个名字节点和10个数据节点。 BigTop是否适用于此,或者我应该只安装每个软件包并手动配置?
我发现了以下内容:
这看起来很有前途,但它对于CentOS 7,我知道它是相似的,但不完全相同。有人可以建议我如何修改它在RHEL 7下工作?我找到了repos,但RHEL没有...
感谢所有可以提供帮助的人,我真的很感激!
答案 0 :(得分:1)
1.2.0版本提供哪些版本的Hadoop / Spark /其他工具?
查看1.2.0版本的文档:
https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release
你将获得hadoop 2.7.3和开箱即用的2.1.0火花。我们在S3上提供了可安装的工件,供您测试功能
https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo
注意:我们将在2017年10月15日有效地进行S3迁移。之后我们将进行相应的更改。如果您想尽快尝试一下。请将baseurl更改为:
http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64
在RHEL 7下是否有从头开始安装完整Hadoop / Spark集群的良好参考?我有12台服务器,我计划做2个名字节点和10个数据节点。 BigTop是否适用于此,或者我应该只安装每个软件包并手动配置?
RHEL和CentOS应该非常相似。我建议:
我发现了以下内容: https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release
是。您正在寻找合适的文档。这正是我上面提到的:虽然它适用于CentOS 7,但您可以在RHEL 7上试用回购。