以块的形式将文件上传到HDFS

Question

我想使用gem＆＃39; webhdfs＆＃39;将文件以块的形式上传到HDFS。我在文档中看到有一个创建方法，但我不知道如何使用它并以块的形式上传大文件。有人试过吗？

Answer 1

我认为你不得不自己捣蛋。您可以传递文件句柄并让库对其进行流式处理。

file_IO_handle = File.open('/tmp/foo.bin', 'rb')
# Straight from the documentation:
client.create('/path/to/file', file_IO_handle, :overwrite => false, :permission => 0666)