在完成所有配置后坚持使用Hadoop

时间:2014-05-06 12:50:02

标签: java eclipse hadoop

我在Centos OS的localhost上运行Hadoop环境。我已经按照不同论坛的所有步骤安装了它并提供了文档。

根据我的理解,我有三个localhost运行Hadoop。 [屏幕截图附有]

enter image description here

enter image description here 此外,eclipse上的配置也已完成,eclipse上的所有选项都可用(如Map Reduce,Run on Hadoop)。在Map reduce程序之后,结构化文件也以非结构化形式成功转换。

现在,我对如何继续使用Hadoop感到困惑?如何检索数据?我可以使用哪些工具/ API来查询数据?

如果有人参与其中,请分享经验。

感谢。

1 个答案:

答案 0 :(得分:1)

祝贺所有设置和运行。您应该查看Hortonworks或Cloudera。我不为两家公司工作,也不推荐一家公司,但每家公司都会提供超越安装和配置的示例和教程。

具体而言,您需要查看HivePig才能使用HDFS中的数据。 Hive在HiveQL中提供了一种查询语言,允许您查询和处理HDFS或HCatalog中的数据。 Pig是一种脚本语言,它还允许访问HDFS中的数据。

从上述参考资料开始,您将在这些网站中找到其他示例和教程。

享受, 专利