Question

我有一个包含200万条记录的.csv文件，我的目标是将其写入hbase数据库。

代码：

try { using (FileStream reader = File.OpenRead(@"C:\Data.csv")) 
            using (TextFieldParser parser = new TextFieldParser(reader))
            {
                parser.TrimWhiteSpace = true; // if you want
                parser.Delimiters = new[] { " " };
                parser.HasFieldsEnclosedInQuotes = true;

                while (!parser.EndOfData)
                {
                    //Process the data
                       hbaseClient.StoreCells(hbaseTableName, set);
                 }
             } } catch(Exception e) {

}

上传最多800k记录的数据后，我收到超时异常。我可以做些什么来避免超时？

Answer 1

每次执行此操作时都会发生这种情况。尝试2-3次，看看它是否重复。在添加一些记录之后发生这一事实意味着除了数据问题之外发生了一些事情。超时异常意味着服务器可能已关闭或由于网络问题。请尝试多次重复相同的操作，如果错误仍然存在，则应该有另一个原因。另外，请添加整个异常堆栈跟踪，以便更好地理解

保持连接活动以从.csv文件中读取批量数据

1 个答案: