如何在Shell脚本中使用定义的变量到Scala文件中?

时间:2018-08-20 11:22:54

标签: scala shell apache-spark scripting apache-spark-sql

我有一个脚本文件,其中我定义了一些日期变量,并且在同一文件中,我使用spark-shell命令调用Scala代码。

在Shell文件中定义的变量在我的Scala代码(Spark.sql)中被用作日期值(过滤器)

但是我从Scala代码中得到错误,找不到值。我尝试过,但是这个问题仍然存在。

您能帮我吗?

感谢和问候,

Vimarsh

1 个答案:

答案 0 :(得分:0)

首先,您需要在spark中传递文件路径作为参数,然后使用import java.util.Properties解析文件。

然后,您可以获得键的值并将其保存在scala变量中。

然后您可以在spark.sql中将其用作spark.sql(s“从表d ='$ {variable_name}'”中选择*)