Spark中的用户特定属性文件（等效于.hiverc）

Question

我们正在尝试设置一些其他属性，例如添加自定义构建的Spark侦听器，为提交的每个Spark Job添加jar至驱动程序和执行程序类路径等。

找到以下实现方式：

1. 更改spark-submit启动程序脚本以添加这些额外的属性

2. 编辑spark-env.sh并将这些属性添加到“ SPARK_SUBMIT_OPTS ”和“ SPARK_DIST_CLASSPATH ”变量

3. 在火花提交启动脚本中添加--properties-file选项

想检查是否可以对用户进行特定的配置，例如在hive中使用.hiverc而不是在集群级别执行。这使我们可以对新构建的功能执行A / B测试。