HDFS命令行追加

时间:2012-11-13 17:26:15

标签: shell command-line hadoop append hdfs

有没有办法从命令行附加到HDFS上的文件,如复制文件:

hadoop fs -copyFromLocal <localsrc> URI

2 个答案:

答案 0 :(得分:6)

此功能在Hadoop 2.3.0中以appendToFile实现,语法如下:

hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile

(2009年首次提出HDFS附加功能正在考虑之中: https://issues.apache.org/jira/browse/HADOOP-6239

答案 1 :(得分:1)

cli不支持追加,但httpfs和fuse都支持附加文件。

w301% ls -lA
total 0
-rw-r--r-- 1 hdfs supergroup 0 Nov 14 01:02 test.me
w301% cat test.me
w301% sync
w301% cat test.me
hello
w301% echo "more rows" >> test.me
w301% sync
w301% cat test.me 
hello
more rows

编辑:但请记住,只有一个客户端可以附加到文件。