作为标题,是否可以写入远程HDFS?
E.g。我在AWS EC2上安装了HDFS集群,我想将本地计算机上的文件写入HDFS集群。
答案 0 :(得分:5)
您可以通过两种方式写入远程HDFS,
使用WebHDFS api
可用。它支持在外面运行的系统
Hadoop集群用于访问和操作HDFS内容。它
不需要客户端系统安装hadoop二进制文件。
将客户端系统配置为Hadoop edge node
以与之交互
Hadoop集群/ HDFS。
请参考,
https://hadoop.apache.org/docs/r1.2.1/webhdfs.html
http://www.dummies.com/how-to/content/edge-nodes-in-hadoop-clusters.html