您是否可以分享有关Spark如何构建其类路径以及确定在运行时哪些jar可用于驱动程序/执行程序的知识?
这是我可以收集的内容,所以请让我知道我错过了什么,或者我是否误解了。关于这个问题,似乎没有一个权威文件。
同样......更重要的问题是,Thrift JDBC/ODBC server
使用相同的方法吗?
--jars
对spark-submit
--packages
至spark-submit
和spark-shell
spark-submit
(超级罐)的app jar参数--driver-class-path
至spark-submit
SPARK_HOME/lib
$HADOOP_CONF_DIR
$HADOOP_CLASSPATH
确定的$HADOOP_CONF_DIR/hadoop-env.sh
spark.driver.extraClassPath
SparkConf
spark.executor.extraClassPath
SparkConf
我错过了什么吗?这是spark-submit
和火花守护进程的一致吗? (例如Thrift服务器或spark-shell
)。