Question

我需要根据此疑难解答文章为SELECT d, e, c FROM tbl WHERE a=0x5caffbb2 AND d>1000000 AND (e=1 OR e=5 OR e=6 OR e=8 OR e=15)环境变量添加值：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_installing_manually_book/content/troubleshooting-phoenix.html

当我在控制台中输入HADOOP_CLASSPATH时，我得到一个空结果。我想我需要在config.xml文件中设置这些值......

在何处或如何将此新值设置为环境变量？

我可以在echo $HADOOP_CLASSPATH设置它吗？

Answer 1

通过spark-submit参数向--driver-class-path调用添加jar路径可以避免错误：

 spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --driver-class-path "/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar

它也可以通过设置--conf参数来实现：

spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --conf "spark.driver.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar

设置其中一个应该这样做！

如果仍然出现异常，也可以将--conf "spark.executor.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar"添加到spark-submit（在执行者上启动代码时可能会发生，而不是在主代码上发生代码）

Answer 2

您可以在spark-env.sh中添加环境变量HADOOP_CONF_DIR，这样无论何时运行spark-submit，它都会自动选择所有环境变量。此环境变量值是hadoop配置的路径。

导出HADOOP_CONF_DIR =将Spark指向Hadoop配置文件

HDP：如何更改HADOOP_CLASSPATH值

2 个答案: