客户端计算机上的hadoop api配置

Question

超小白。我有一台带有cdh3u1伪分发服务器的服务器机器，以及一台带有使用cdh3u1 API的java应用程序的客户端机器。

如何配置客户端与服务器通信？我一直在谷歌搜索几个小时，无法找到“客户端配置”文件的位置。 “hdfs-default”，“core-default”和“mapred-default”以及它们的“-site”对应物都看起来像server（namenode和datanode）配置给我。

它只是“多用途客户端服务器”配置，我应该挑选这些适合客户端的文件中的属性吗？他们是谁？可能在这里遗漏了一些大事......

谢谢，Ido

Answer 1

确保客户端计算机可以访问hadoop服务器计算机ip。如果您为hadoop服务器（cdh3 vm）使用虚拟机，则添加“仅主机”网络接口（请参阅此处的详细信息：host-only networking with virtualbox。我假设您的hadoop服务器的静态IP为{{ 1}}并且您可以从客户端ping它。

在服务器和客户端计算机中为hadoop服务器计算机配置主机名。如果要将hadoop服务器命名为“local-elephant”，请将以下行添加到两台计算机的/ etc / hosts中：192.168.56.101。

在服务器机器goto / etc / hadoop / conf中将以下属性的值从“localhost”更改为“local-elephant”：在core-site.xml中，192.168.56.101 local-elephant的值和mapred- site.xml是fs.default.name的值。

在客户端计算机中，在java应用程序的类路径中创建core-site.xml和mapred-site.xml。在这些文件中只放置mapred.job.tracker和fs.default.name属性。