Question

我是hadoop的新手所以请原谅我，如果这个问题是个错误的话。我正在尝试配置pig使用webhdfs来获取数据。我不知道怎么做我尝试过： -

Configuration configuration = new Configuration();
conf.set("fs.defaultFS","webhdfs://<uri>:50070");
properties.putAll(ConfigurationUtil.toProperties(conf));

然后我将此属性对象（属性）传递给pig主文件中的属性对象。然而，这似乎不起作用。任何对hdfs的访问都会在没有响应的情况下超时。有人能告诉我这是怎么做到的吗？

Answer 1

经过多次反复试验后，我想我可能已经解决了这个问题。问题不在于传递的配置（我可以在我的类路径上保留一个core-site.xml，顺便提一下如上所示的fs.defaultFS属性）。问题是我试图运行的猪脚本文件有： -

REGISTER 'hdfs://<uri>:9000/filename.jar'

什么时候应该

REGISTER 'webhdfs://<uri>:50070/filename.jar'

不确定这是否非常明显，我浪费了你的时间。对不起。

如何配置pig通过WebHDFS访问数据？

1 个答案: