运行导入作业

Question

使用以下错误处理reducer时，Bulkload失败。我们在M5集群上运行mapreduce，试图更新m7表。

java.io.IOException: bulkLoaderClose() on '/home/test/account122' failed
with error: Function not implemented (38). 
at com.mapr.fs.Inode.checkError(Inode.java:1611) 
at com.mapr.fs.Inode.checkError(Inode.java:1583) 
at com.mapr.fs.Inode.bulkLoaderClose(Inode.java:1278) 
at com.mapr.fs.MapRHTable.bulkLoaderClose(MapRHTable.java:119) 
at com.mapr.fs.hbase.BulkLoadRecordWriter.close(BulkLoadRecordWriter.java:160)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:621)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:458)
at org.apache.hadoop.mapred.Child$4.run(Child.java:278)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566) at org.apache.hadoop.mapred.Child.main(Child.java:267)

hbase版本为0.98.12-mapr-1506。

启用Mapr-Db表进行批量加载。 Reducers处理所有数据，在批量加载时它会失败。

请帮忙。

Answer 1

您用于批量加载的实用程序是什么？您可以使用ImportTsv批量加载到MapR-DB表中。

Answer 2

我测试了以下数据文件并导入。如果这适用于您的群集，请尝试使用。

1）将以下数据添加到群集中的mfs。将其替换为您的路径./mapr/demo.mapr.com/home/datafile.csv： 2014,1,1,1,3,2014-01-01，AA，N338AA，1，JFK，LAX，0914,14.00,1238,13.00,0.00，385.00,359.00,2475.00 ,,,,,, 2014,1,1,2,4,2014-01-02，AA，N338AA，1，JFK，LAX，0857，-3.00,1226,1.00,0.00，385.00,340.00,2475.00 ,,,,,, < / p>

导出CF =＆＃34; cf1＆＃34;

2）maprcli表删除-path / home / test / account122 3）maprcli表create -path / home / test / account122 3）maprcli表cf create -path / home / test / account122 -cfname $ CF

运行导入作业

4）java -cp hbase classpath org.apache.hadoop.hbase.mapreduce.ImportTsv \ -Dimporttsv.separator =，\ -Dimporttsv.columns = $ CF：今年，$ CF：QTR，$ CF：月，$ CF：DOM，$ CF：陶氏，HBASE_ROW_KEY，$ CF：载体，$ CF：tailnum，$ CF：FLIGHTNUMBER，$ CF：起源，$ CF：DEST，$ CF：deptime，$ CF：depdelay，$ CF：arrtime，$ CF：arrdelay，$ CF：CNCL，$ CF：cnclcode，$ CF：elaptime，$ CF：通话时间，$ CF：距离，$ CF：carrierdelay，$ CF：weatherdelay，$ CF：nasdelay，$ CF：securitydelay，$ CF：aircraftdelay，$ CF：dummy \ / home / test / account122 \ /mapr/demo.mapr.com/home/datafile.csv

Answer 3

默认情况下，MaprdDb表不支持BulkLoading。错误功能未实现（38）表示不支持此功能。

Mapr-Db批量加载在reducer结束时失败

3 个答案:

运行导入作业