我们可以直接从pyspark执行.hql文件吗?

时间:2017-03-28 08:06:18

标签: apache-spark hive pyspark hql

我可以从pyspark运行一个配置单元查询,也可以从.hql文件中读取每一行并运行查询。但是,我想直接从pyspark程序运行.hql文件。我试过搜索互联网,但无法找到解决方案。

我只是想知道我是否可以像往常一样使用

运行hql文件
hive -f "hql_file.hql"

或火花还没有提供这样的解决方案?

到目前为止,我可以继续使用,这有效: 我没有在这里添加库..以下代码适用于从hql文件中检索每一行

sc=SparkContext(conf=conf)
hc=HiveContext(sc)

with open("hql_file_path","r+") as fr:
 for query in fr:
  result=hc.hql(query)
  print result.collect()

0 个答案:

没有答案