RHEL 7上的Apache Bigtop安装

时间:2017-07-25 21:35:01

标签: hadoop apache-spark bigtop

我正在寻求帮助,我的任务是在工作中建立一个Hadoop集群。我在家里使用开源堆栈在笔记本电脑上做了单节点的东西(我试图坚持开源,Apache堆栈以避免任何许可成本。现在我们对Cloudera或HortonWorks没兴趣。)。

我偶然发现了Apache BigTop堆栈(1.2.0)并在那里进行了搜索。现在我仍然试图绕过它所提供的内容(我还没有找到对Hadoop / Spark版本的引用等)。我可以从以下方面获得一些帮助:

  1. 1.2.0版本提供哪些版本的Hadoop / Spark /其他工具?

  2. 在RHEL 7下是否有从头开始安装完整Hadoop / Spark群集的良好参考?我有12台服务器,我计划做2个名字节点和10个数据节点。 BigTop是否适用于此,或者我应该只安装每个软件包并手动配置?

  3. 我发现了以下内容:

  4. https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

    这看起来很有前途,但它对于CentOS 7,我知道它是相似的,但不完全相同。有人可以建议我如何修改它在RHEL 7下工作?我找到了repos,但RHEL没有...

    1. 官方Apache页面上的文档似乎相当渺茫,或者我可能只是没有找到合适的位置......是否有完整群集安装的参考资料的良好链接?
    2. 感谢所有可以提供帮助的人,我真的很感激!

1 个答案:

答案 0 :(得分:1)

  

1.2.0版本提供哪些版本的Hadoop / Spark /其他工具?

查看1.2.0版本的文档:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

你将获得hadoop 2.7.3和开箱即用的2.1.0火花。我们在S3上提供了可安装的工件,供您测试功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意:我们将在2017年10月15日有效地进行S3迁移。之后我们将进行相应的更改。如果您想尽快尝试一下。请将baseurl更改为:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

  

在RHEL 7下是否有从头开始安装完整Hadoop / Spark集群的良好参考?我有12台服务器,我计划做2个名字节点和10个数据节点。 BigTop是否适用于此,或者我应该只安装每个软件包并手动配置?

RHEL和CentOS应该非常相似。我建议:

  • 直接在RHEL上试用我们的CentOS软件包,看看是否有效。我在生产中使用了RHEL 6上的Bigtop CentOS 6软件包,它就像一个魅力。
  • 如果上述方法不起作用,Bigtop是一个完全开源的解决方案,可以帮助您构建自己的Hadoop发行版。您可以根据所需的Distro构建整个堆栈。从头开始。我们精心设计了工具和dockerlized框架来支持它。如果您这样做,请在user@bigtop.apache.org邮件列表中提出您的需求。我们很乐意提供帮助。
  

我发现了以下内容:   https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是。您正在寻找合适的文档。这正是我上面提到的:虽然它适用于CentOS 7,但您可以在RHEL 7上试用回购。