减少许多配置单元调用的配置单元启动时间

Question

我正在以这种方式从命令行调用hive -e数百次：

cat hive_script.hql | parallel --gnu hive -e '{}' 

hive_script.hql中的每一行都可以独立运行并以任何顺序运行。

是否有任何--hiveconf参数可以减少启动时间？ Apache网页似乎暗示可能存在

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution

"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivial when doing thousands of manipulations such as multiple hive -e invocations."

Answer 1

你不能加速hive -e，但你可以在一个脚本中放置多个查询。

如果这不起作用，您将需要查看HiveServer2并从JDBC客户端调用查询。