Question

我刚安装了在virtualbox中运行的mapr sandbox virtualmachine。 VM使用“NAT”网络模式设置，端口转发到我的Mac（OSX 10.10）。由于端口被转发，我猜我应该能够访问“localhost”上的hdfs。

现在我想在vm上列出hdfs的内容：

unknown60F81DAE9820:loganalytics linseb$ hadoop fs -fs maprfs://localhost -ls /
15/03/25 15:16:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where    applicable
2015-03-25 15:16:11,6646 ERROR Cidcache fs/client/fileclient/cc/cidcache.cc:1586 Thread: 4548153344 MoveToNextCldb: No CLDB entries, cannot run, sleeping 5 seconds!
2015-03-25 15:16:16,6683 ERROR Client fs/client/fileclient/cc/client.cc:813 Thread: 4548153344 Failed to initialize client for cluster localhost:7222, error Connection refused(61)
ls: Could not create FileClient

我也试过127.0.0.1，sudo和端口：5660但最终没有成功。

有什么想法吗？

Answer 1

从NAT网络模式更改为主机只能解决问题。然后，当然我必须使用VM的IP来访问maprfs。

Answer 2

如果您只是在本地/单个节点上运行普通Spark ，那么您不需要HDFS，您只需提及要从本地文件系统加载的输入和输出文件，如下所示：

file:///pathtoinput
file:///pathtooutput

无法访问在mapr沙箱VM中运行的hdfs文件系统

2 个答案: