Question

我正在使用spark1.6。我正在使用spark context创建hivecontext。当我将数据保存到配置单元时，它会出错。我正在使用cloudera vm。我的蜂巢在cloudera vm内，并在我的系统上点火。我可以使用IP访问vm。我在vm上启动了thrift服务器和hiveserver2。我有hive.metastore.uris

的用户节俭服务器uri

 val hiveContext = new HiveContext(sc)
    hiveContext.setConf("hive.metastore.uris", "thrift://IP:9083")
............
............
 df.write.mode(SaveMode.Append).insertInto("test")

我收到以下错误：

FAILED: SemanticException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien‌t

Answer 1

可能在spark conf文件夹中，hive-site.xml不可用，我在下面添加了详细信息。

在spark配置文件夹中添加hive-site.xml。

创建一个指向hive配置文件夹中的hive-site.xml的符号链接。

sudo ln -s /usr/lib/hive/conf/hive-site.xml /usr/lib/spark/conf/hive-site.xml

完成上述步骤后，重新启动spark-shell应该会有所帮助。

无法使用spark在hive上写入数据

1 个答案: