如何在不使用jar文件的情况下在Spark Scala脚本中传递参数或参数

时间:2019-05-20 11:21:58

标签: scala apache-spark arguments

我有使用命令运行的这段代码 spark2-shell -i /home/zellions/file2.scala

现在脚本包含前两行的代码

val oldDF = spark.read.format("csv").option("header", "true").option("delimiter",",").load("/hdfs/cxtw/dpat_dev9/project/sampleinfinit")

val newDF = spark.read.format("csv").option("header", "true").option("delimiter",",").load("/hdfs/cxtw/dpat_dev9/project/sampleinfinit2")

现在,我想在filename处传递参数,以便在运行脚本时可以传递文件名。

请让我知道我们如何实现这一目标。

我希望代替hdfs / cxtw / dpat_dev9 / project / sampleinfinit我希望传递args(0)并在运行时或通过概要文件传递参数的值。 我知道有人问过类似的问题,但那里的答复不符合我的查询。

0 个答案:

没有答案