我正在使用Eclipse开发我的spark应用程序,我想读取src / main / resources中可用的配置文件并获取程序中的值。下面是我的火花配置文件
spark.tablename employee
以下是我的测试代码
package com.spark.config
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object SparkConfig {
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("sparkconftest")
.setMaster("local")
val sc = new SparkContext(conf)
val tableName = sc.getConf.get("spark.tablename")
print(tableName)
sc.stop()
}
}
执行时我收到以下错误
Exception in thread "main" java.util.NoSuchElementException: spark.tablename
at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:245)
at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:245)
at scala.Option.getOrElse(Option.scala:121)
at org.apache.spark.SparkConf.get(SparkConf.scala:245)
at com.spark.config.SparkConfig$.main(SparkConfig.scala:16)
如何在Eclipse中使用Spark属性值?