我有一个脚本文件,其中我定义了一些日期变量,并且在同一文件中,我使用spark-shell命令调用Scala代码。
在Shell文件中定义的变量在我的Scala代码(Spark.sql)中被用作日期值(过滤器)
但是我从Scala代码中得到错误,找不到值。我尝试过,但是这个问题仍然存在。
您能帮我吗?
感谢和问候,
Vimarsh
答案 0 :(得分:0)
首先,您需要在spark中传递文件路径作为参数,然后使用import java.util.Properties解析文件。
然后,您可以获得键的值并将其保存在scala变量中。
然后您可以在spark.sql中将其用作spark.sql(s“从表d ='$ {variable_name}'”中选择*)