我想在spark上运行查询。我把它们放在我的.sql文件
上目前我正在运行的方式是：
spark-sql --master yarn /home/myuser/query.sql
但是一旦查询完成执行，它就会进入 spark-sql＆gt; .... shell提示符然后作业状态不会更改为Finished Successfully它显示RUNNING becoz the spark-sql＆gt; shell处于活动状态，因此我必须明确地执行 CTRL + C 以退出shell。
所以基本上我只想提交一个spark作业，它实际上是一个使用shell脚本文件的查询，而不会进入任何特定于Spark的shell。
我不想在类文件中编写查询，然后构建一个jar然后提交。
答案 0 :(得分：1)
刚刚发现-f选项可以帮我完成工作。
spark-sql --master yarn -f /home/myuser/query.sql