Question

packages=(
'org.apache.spark:spark-core_1.11:2.2.0'
'org.apache.spark:spark-sql_2.11:2.2.0'
'org.apache.spark:spark-hive_2.11:2.2.0'
'mysql:mysql-connector-java:5.1.43'
'org.mongodb.scala:mongo-scala-driver_2.11:2.1.0'
'org.mongodb:mongo-java-driver:3.4.2'
'com.github.scopt:scopt_2.11:3.7.0'
'com.github.nscala-time:nscala-time_2.11:2.18.0'
'org.elasticsearch:elasticsearch-spark-20_2.11:6.1.1'
'org.ansj:ansj_seg:5.1.5'
'org.apache.spark:spark-mllib_2.11:2.2.0'
'org.apache.spark:spark-mllib_2.11:2.2.0'
'com.sksamuel.elastic4s:elastic4s-core_2.11:6.1.4'
'com.sksamuel.elastic4s:elastic4s-http_2.11:6.1.4'
'com.softwaremill.sttp:core_2.11:1.1.9'
'com.softwaremill.sttp:core_2.11:1.1.9'
'org.apache.spark:spark-streaming-kafka-0-10_2.11:2.2.0'
'org.postgresql:postgresql:42.2.2'
)

spark-submit --packages $(echo ${packages[*]} | tr ' ' ','}) --driver-class-path /data/bigdata/simple.jar --deploy-mode cluster --class com.xinpinget.bolt.stream.SCEventStreamTest --master spark://spark:7077 http://spark/tmp/all_2.11-0.1.jar

这是我使用Submit Spark Job的脚本。部署模式为集群。但是在作业运行后，无法在spark ui和spark历史记录中找到驱动程序日志。只能找到工作日志。

在SPARK_HOME目录下，它可以找到驱动程序日志。但是每次都检查登录控制台并不是很方便。

Answer 1

我创立了它。驱动程序日志位于spark ui页面的底部。

提交Spark作业时如何查找驱动程序日志

1 个答案: