Spark如何构建其类路径?

时间:2016-04-24 03:25:39

标签: java hadoop apache-spark classpath

您是否可以分享有关Spark如何构建其类路径以及确定在运行时哪些jar可用于驱动程序/执行程序的知识?

这是我可以收集的内容,所以请让我知道我错过了什么,或者我是否误解了。关于这个问题,似乎没有一个权威文件。

同样......更重要的问题是,Thrift JDBC/ODBC server使用相同的方法吗?

驱动程序

  • --jarsspark-submit
  • 的价值
  • --packagesspark-submitspark-shell
  • spark-submit(超级罐)的app jar参数
  • --driver-class-pathspark-submit
  • SPARK_HOME/lib
  • $HADOOP_CONF_DIR
  • $HADOOP_CLASSPATH 确定的
  • $HADOOP_CONF_DIR/hadoop-env.sh
  • 找到spark.driver.extraClassPath
  • 的任何SparkConf

执行人

  • 与司机相同?
  • 找到spark.executor.extraClassPath
  • 的任何SparkConf

我错过了什么吗?这是spark-submit和火花守护进程的一致吗? (例如Thrift服务器或spark-shell)。

0 个答案:

没有答案