我有一份工作,可以批量加载大约5000个hfile。我收到错误
ERROR [main] mapreduce.LoadIncrementalHFiles (LoadIncrementalHFiles.java:doBulkLoad(452)) -
"Bulk load aborted with some files not yet loaded"
hdfs://..../file1
hdfs://...file2
Exception in thresad "main" java.io.IOException: Retry attempted 20 times without completing, bailing out
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:416)
..
我已经将重试次数从10次增加到20次,这降低了失败的频率,但是没有完全补救。
对此有什么补救办法? hadoop能否自动确定每个hfile所需的拆分数量,而不是在尝试将新的hfile放入区域时顺序创建拆分?