当我尝试为现有表进行hbase复制时,出现以下错误。
错误:java.lang.IllegalArgumentException:KeyValue大小太大
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr = uatdmsdn1.chola.murugappa.com:2181:/ hbase-unsecure DMSMASTER
上面的命令已尝试复制hbase表。
2019-06-24 13:57:28,864信息[main] util.RegionSizeCalculator:计算表“ DMSMASTER”的区域大小。 2019-06-24 13:57:29,695信息[主] client.ConnectionManager $ HConnectionImplementation:关闭主协议:MasterService 2019-06-24 13:57:29,698信息[主要] client.ConnectionManager $ HConnectionImplementation:关闭zookeeper sessionid = 0x167c47b62190369 2019-06-24 13:57:29,709 INFO [main] zookeeper.ZooKeeper:会话:0x167c47b62190369关闭 2019-06-24 13:57:29,710信息[main-EventThread] zookeeper.ClientCnxn:EventThread关闭 2019-06-24 13:57:29,948 INFO [main] mapreduce.JobSubmitter:分割数:2 2019-06-24 13:57:30,001 INFO [main] Configuration.deprecation:io.bytes.per.checksum已弃用。而是使用dfs.bytes-per-checksum 2019-06-24 13:57:30,256信息[main] mapreduce.JobSubmitter:为工作提交令牌:job_1561019887178_0042 2019-06-24 13:57:31,411信息[main] impl.YarnClientImpl:提交的应用程序application_1561019887178_0042 2019-06-24 13:57:31,514信息[main] mapreduce。工作:跟踪工作的网址:http://uatdms01.chola.murugappa.com:8088/proxy/application_1561019887178_0042/ 2019-06-24 13:57:31,515信息[main] mapreduce。工作:正在运行的工作:job_1561019887178_0042 2019-06-24 13:58:14,384 INFO [main] mapreduce.Job:以超级模式运行的Job job_1561019887178_0042:false 2019-06-24 13:58:14,387 INFO [main] mapreduce.Job:地图0%减少0% 2019-06-24 13:58:25,015 INFO [main] mapreduce.Job:任务ID:try_1561019887178_0042_m_000000_0,状态:FAILED 错误:java.lang.IllegalArgumentException:KeyValue大小太大 在org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1494) 在org.apache.hadoop.hbase.client.BufferedMutatorImpl.validatePut(BufferedMutatorImpl.java:147) 在org.apache.hadoop.hbase.client.BufferedMutatorImpl.doMutate(BufferedMutatorImpl.java:134) 在org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:98) 在org.apache.hadoop.hbase.mapreduce.TableOutputFormat $ TableRecordWriter.write(TableOutputFormat.java:138) 在org.apache.hadoop.hbase.mapreduce.TableOutputFormat $ TableRecordWriter.write(TableOutputFormat.java:94) 在org.apache.hadoop.mapred.MapTask $ NewDirectOutputCollector.write(MapTask.java:658) 在org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89) 在org.apache.hadoop.mapreduce.lib.map.WrappedMapper $ Context.write(WrappedMapper.java:112) 在org.apache.hadoop.hbase.mapreduce.Import $ Importer.processKV(Import.java:209) 在org.apache.hadoop.hbase.mapreduce.Import $ Importer.writeResult(Import.java:164) 在org.apache.hadoop.hbase.mapreduce.Import $ Importer.map(Import.java:149) 在org.apache.hadoop.hbase.mapreduce.Import $ Importer.map(Import.java:132) 在org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) 在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 在org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:170) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866) 在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)
2019-06-24 13:58:34,190 INFO [main] mapreduce.Job:任务ID:try_1561019887178_0042_m_000001_0,状态:FAILED 错误:java.lang.IllegalArgumentException:KeyValue大小太大