我玩火花会话。 对于测试,我需要在本地独立进行会话。
val conf = new SparkConf().setAppName("Csv Application")
.setMaster("local[*]")
.set("spark.executor.memory", "4g")
.set("spark.driver.memory", "4g")
SparkSession.builder
.config(conf)
.appName("spark session example")
.config("spark.sql.warehouse.dir", "file:///.")
.getOrCreate()
在部署模式下,应按如下所示创建Spark会话。
SparkSession
.builder
.appName("Spark Pi")
.getOrCreate()
由于存在差距,我需要在每次测试和部署时进行更改。 有没有办法让eclipse或scala通知自己目前的环境类型是什么?