我可以从pyspark运行一个配置单元查询,也可以从.hql文件中读取每一行并运行查询。但是,我想直接从pyspark程序运行.hql文件。我试过搜索互联网,但无法找到解决方案。
我只是想知道我是否可以像往常一样使用
运行hql文件hive -f "hql_file.hql"
或火花还没有提供这样的解决方案?
到目前为止,我可以继续使用,这有效: 我没有在这里添加库..以下代码适用于从hql文件中检索每一行
sc=SparkContext(conf=conf)
hc=HiveContext(sc)
with open("hql_file_path","r+") as fr:
for query in fr:
result=hc.hql(query)
print result.collect()