使用JAVA将字节流传输到HDFS

Question

是否可以使用某些Web服务将文件直接上传到HDFS空间。我尝试将文件写入本地系统并将其移至HDFS。

Answer 1

WebHDFS 提供REST API以支持所有文件系统操作。

不能直接上传。

必须遵循2个步骤

1. 在hdfs位置http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=CREATE
中创建文件
2. 写入该文件 - 指定您想要在标题local file path上传的http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE

请在此处参考API WebHDFS apis