C＃HDFS文件上传超时

Question

我正在使用Microsoft.Research.Peloponnese.WebHdfs将文件写入HDFS。但是使用这个上传文件似乎有100秒超时。我没有找到任何方法可以更改此超时。

using (var hdfs = new WebHdfsClient(user, port))
{
   using (Stream writeStream = hdfs.GetDfsStreamWriter(writeFileURI))
   {
     using (Stream readStream = System.IO.File.OpenRead(inFile))
     {
         readStream.CopyTo(writeStream );
     }
   }
}  

或者是否有更好的方法使用C＃将文件写入HDFS？

Answer 1

使用WebHdfs class

的修改版本

修改GetDfsStreamWriter方法，为PUT请求设置Timeout属性。

put.Timeout = 8000000;