PySpark:我们可以从pyspark代码运行一个hql

时间:2017-07-21 12:51:11

标签: pyspark

我有Pyspark代码,它将hql命令写入.hql文件。我想过使用子进程库直接运行hql文件,但是当我这样做时,我的hql没有运行,程序正在关闭...

我知道我可以使用sqlcontext从hql读取每一行并单独运行..但是我想从子进程命令运行hql文件这不可能吗???

注意:我执行spark-submit来运行.py代码

1 个答案:

答案 0 :(得分:0)

您可以使用spark-sql

直接在shell脚本中提交它
$ spark-sql –master yarn-client <..other parameters for executor memory etc..> -i ./script.hql

spark-sql在内部调用spark-submit。