我在C#中遇到了WebHDFSClient的问题。 我尝试在Hadoop文件系统中访问文件 part by part 。它的大小是5Gb。
但是,打开文件的可用方法是:
public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path);
public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path, int offset, int length);
如您所见,我需要的两个变量,offset和length是整数。因此,在第一个2Gb之外检索部件是不可能的。
令人惊讶的是,WebHDFS REST API提供: (https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#OPEN)
curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"
您是否看到在C#中访问超过2Gb的文件的解决方案?
提前谢谢。