将文件从haddop集群(远程windows机器)上传到hdfs就像hue upload一样

时间:2016-06-17 19:06:41

标签: hadoop hdfs hue

我正在尝试找到一种解决方案,用于将文件从本地Windows机器或本地Linux机器复制到云端的hdfs。

我知道一个解决方案,

  

遥控 - >集群节点(使用scp)

     

节点 - > hdfs(使用hdfs命令)

但是对于我的用例它不起作用,我需要找到一个解决方案,直接上传文件从本地到hdfs,如hue上传。

我也尝试了以下命令

  

hdfs dfs -copyFromLocal file :: //<'local-host'>:<'local-path'> HDFS://< 'HDFS路径' >

但它是通过以下错误:

  

copyFromLocal:`<'local-path'>':没有这样的文件或目录

任何建议都将受到赞赏。

-Thanks

Vikash

1 个答案:

答案 0 :(得分:0)

请参阅先在hdfs中创建目录,然后

hadoop fs -put /path/in/linux /hdfs/path

hadoop fs -copyFromLocal /path/in/linux /hdfs/path