Question

使用spark独立群集插入播放应用程序，它在开发模式下执行良好，但在尝试以生产模式部署时，会出现以下错误：

 Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration

我正在使用spark-2.1这里是片段

lazy val spark = SparkSession.builder().appName("Spark_with_Play").master("spark://ip:7077").config("spark.executor.memory", "2g").config("spark.deploy.defaultCores",8).getOrCreate()

那么如何在生产模式的conf / appliaction.conf文件中设置spark master？

Answer 1

经过多次试验后，能够找到 typesafe config ，用于从application.conf文件中读取配置并将其传递给代码。这是 application.conf 文件的内容：

spark.master = "spark://ip:7077"

这是添加到 build.sbt

的行

"com.typesafe"%"config"%"1.2.0"

控制器中的

是代码片段：

import com.typesafe.config._
val conf = ConfigFactory.load()
val sparkMaster = conf.getString("spark.master")

val spark= SparkSession.builder().master(sparkMaster).getOrCreate()

如何在play-framework conf / application.conf文件中设置spark独立主URL？

1 个答案: