无法使用嵌入式猪访问hadoop

Question

我正在使用 pig api 0.12.0 ，以便在远程hadoop服务器上执行pig latin脚本。 为此，我在我的类路径中放置了相同的core-site.xml（ src / main / resources ）。

这个core-site.xml非常简单：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoopserver:9000</value>
    </property>
</configuration>

然而，当我运行我的程序时，日志说

INFO executionengine.HExecutionEngine: Connecting to hadoop file system at: file:///

为什么不连接到hdfs://hadoopserver:9000？

Answer 1

此问题是由此版本不支持新参数fs.defaultFS引起的。因此，您的core-site.xml应具有以下属性：

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoopserver:9000</value>
    </property>
</configuration>

您不必在hadoop服务器中更改该值，只需在api处理的文件中。