WebHDFSClient Openfile不能超过2Gb

时间:2017-03-06 15:56:59

标签: c# hadoop hdfs webhdfs

我在C#中遇到了WebHDFSClient的问题。 我尝试在Hadoop文件系统中访问文件 part by part 。它的大小是5Gb。

但是,打开文件的可用方法是:

    public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path);
    public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path, int offset, int length);

如您所见,我需要的两个变量,offset和length是整数。因此,在第一个2Gb之外检索部件是不可能的。

令人惊讶的是,WebHDFS REST API提供: (https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#OPEN

curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
                [&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"

您是否看到在C#中访问超过2Gb的文件的解决方案?

提前谢谢。

0 个答案:

没有答案