Question

我试图使用HiveContext对象从我的spark代码运行一些配置单元查询。当我使用spark submit从命令行运行它时工作正常。但是，当我尝试从oozie工作流程中运行相同的操作时，我得到以下异常。

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Answer 1

如果使用Hive类，您应该将Hive sharelib添加到Spark操作中。您可以在oozie-default.xml，工作流程或操作配置中设置以下属性：

<configuration>
   <property>
      <name>oozie.action.sharelib.for.spark</name>
      <value>spark,hive</value>
   </property>
</configuration>

HiveContext无法使用Oozie

1 个答案: