在代码中改进单元测试和真正的jar

时间:2017-03-16 06:11:12

标签: java eclipse scala unit-testing

我玩火花会话。 对于测试,我需要在本地独立进行会话。

val conf = new SparkConf().setAppName("Csv Application")
    .setMaster("local[*]")
    .set("spark.executor.memory", "4g")
    .set("spark.driver.memory", "4g")

SparkSession.builder
    .config(conf)
    .appName("spark session example")
    .config("spark.sql.warehouse.dir", "file:///.")
    .getOrCreate()

在部署模式下,应按如下所示创建Spark会话。

SparkSession
    .builder
    .appName("Spark Pi")
    .getOrCreate()

由于存在差距,我需要在每次测试和部署时进行更改。 有没有办法让eclipse或scala通知自己目前的环境类型是什么?

0 个答案:

没有答案