如何使用Hive将json-serde jar添加到Spark SQL？

Question

我正在尝试查询使用JSON SerDe的hive表。我已将SerDe jar添加到程序的驱动程序类路径中，但我仍无法从Spark查询该表。我得到message:java.lang.ClassNotFoundException Class org.openx.data.jsonserde.JsonSerDe not found)例外。如何将此jar添加到Spark类路径？

Answer 1

您需要将Jars设置为Spark Conf：

SparkConf sc = new SparkConf();
sc.setJars("typically_absolute_hdfs_path");

在Python中：

conf = (SparkConf() .setJars("local"))