Question

有人问过类似的问题（here和here），但我的问题不同，我想知道是否有一种方法可以直接将数据（从REST API或cURL）下载到HDFS群集。

我试图避免在本地保存文件。

Answer 1

您可以使用webHDFS REST API，但这是一个两步操作。要专门上传文件：

步骤1：

curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=CREATE
                    [&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
                    [&permission=<OCTAL>][&buffersize=<INT>]"

第2步：

curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE..."

在步骤2中：您决定如何传递<LOCAL_FILE>，URL http://<DATANODE>:<PORT>是第2步返回的URL。

Create and Write to a File

中有关此操作的更多信息

是否直接将数据下载到HDFS？

1 个答案: