如何下载tar.gz并将其重新粘贴到hdfs而无需将整个文件下载到本地磁盘？

Question

我想从web直接将tar.gz文件提取到hdfs中。 跳过下载到本地磁盘的阶段，因为文件可能非常大。

这一切都来自简单的cmd行脚本（bash，wget等）

Answer 1

好的，看起来这个衬里有效：

wget -O - http://...tar.gz | tar xfz - --to-stodout | hadoop dfs -put - /somepath