HDP Sandbox中MongoDB Hadoop连接器生成的Hive日志在哪里?

时间:2016-11-30 11:36:05

标签: mongodb hadoop hive hortonworks-data-platform hortonworks-sandbox

我遇到一个奇怪的错误,我在Azure Hortonworks Sandbox的任何日志中都找不到。 我正在尝试执行以下操作方法来尝试与Hadoop(Hive)进行Mongodb集成:https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example,但是当我尝试使用Hive在Mongo中创建表时,我收到以下错误(使用hive CLI ,直线和Ambari Hive查看MR2和Tez处理器):

Error: Error while processing statement:  FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1)

好吧,谷歌搜索这个消息我发现人们引用一些描述真正异常的java日志,并且总结(大部分时间)mongodb-java-driver jar都没有到类路径中。

我的第一个问题:这些日志在哪里描述真正的异常?因为查看/var/log/hive*/*.log和Yarn ResourceManagerUI - >日志,除了“InterruptedException”,“ERROR applicationhistoryservice.ApplicationHistoryServer(LogAdapter.java:error(69)) - RECEIVED SIGNAL 15:SIGTERM”等等,我看不到任何东西......但没有什么真正有用的。

接下来,我添加了mongo-hadoop-core和mongo-hadoop-hive jar(根据我的沙盒版本规范从github构建)和本地路径中的mongodb-java-driver版本3.3.0,在hive-site.xml的hive.aux.jars.path部分,最后重新启动了我的hive服务(所以,包括hive-server2)......但是没办法让这个工作,并且无法获得更多信息来理解为什么它没有运行...

我忘记了什么吗? 谢谢你的帮助!

1 个答案:

答案 0 :(得分:0)

好吧,我终于找到了我的问题。

jars bson- $ MongoVersion .jar和mongodb-driver-core- $ MongoVersion .jar失踪。

即使连接器文档指定我们需要包含mongo-hadoop-core- $ connectorVersion .jar,mongo-hadoop-hive- $ connectorVersion .jar和mongodb -driver- $ mongoJavaDriver .jar到hadoop类路径,似乎它也需要bson和mongodb-driver-core jar。

最后,日志位于此处: /var/log/hive/hiveserver2.log 。我不明白我怎么会错过阅读这些日志的这样一条消息,但好吧,这就是。