在测试查询时,我们会遇到以下错误。有关如何解决此问题的任何提示?
我正在寻找有关如何调整Hive或MR设置以解决此问题的指导。
由于
错误:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:处理可写时的Hive运行时错误{" tweet_id":812547772591304704," created_unixtime&#34 ;:1482561460050," created_time":" Sat Dec 24 06:37:40 +0000 2016"," lang":" it", "显示名称":" algidagilda""的time_zone":""" MSG":" fredcasualmente我是一名神秘的女儿 在org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:172) 在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54) 在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453) 在org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) 在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:168) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724) 在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) 引起:org.apache.hadoop.hive.ql.metadata.HiveException:处理可写时的Hive运行时错误{" tweet_id":812547772591304704," created_unixtime":1482561460050," created_time":" Sat Dec 24 06:37:40 +0000 2016"," lang":" it"," displayname" :" algidagilda"," time_zone":""," msg":" fredcasualmente i fiocchi di neve sono le farfalle dellinverno 在org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:543) 在org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:163) ......还有8个 引起:org.apache.hadoop.hive.serde2.SerDeException:Row不是有效的JSON对象 - JSONException:237处未终止的字符串[character 238 line 1] 在org.openx.data.jsonserde.JsonSerDe.onMalformedJson(JsonSerDe.java:412) 在org.openx.data.jsonserde.JsonSerDe.deserialize(JsonSerDe.java:174) 在org.apache.hadoop.hive.ql.exec.MapOperator $ MapOpCtx.readRow(MapOperator.java:143) 在org.apache.hadoop.hive.ql.exec.MapOperator $ MapOpCtx.access $ 200(MapOperator.java:107) 在org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:534) ... 9更多
失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2 MapReduce工作推出: Stage-Stage-2:Map:3 Reduce:1 HDFS读取:0 HDFS写入:0 FAIL 总MapReduce CPU使用时间:0毫秒
答案 0 :(得分:0)
请使用此命令启动配置单元以进行更多调试
bin/hive --hiveconf hive.root.logger=DEBUG,console