Question

我创建了一个hive查询脚本，主要用于交叉销售项目的功能创建和评分。大多数查询是执行数据清理，转换等的简单查询。我想自动执行此过程，以便我可以从hive表作为输入开始，并可以将最终结果输出到Hbase文件中。我的问题是：

最好的方法是什么？

我可以简单地创建filename.sql或filename.hql并使用hive -f filename.sql

从shell运行它

像PL for SQL这样的hive有什么东西吗？

Answer 1

您可以通过多种方式完成此操作。就像你也可以使用Hive CLI，它很容易做这样的工作。您可以在Linux中编写shell脚本，在Windows中编写.bat。

在脚本中，您可以简单地查看以下条目。

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a';

或者如果你有文件：

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

确保在你的环境中设置了$ HIVE_HOME。一旦你测试并正常工作，你可以输入cronjob进行安排。

Answer 2

重要的是要注意，如果您使用任何一种技术，您的每个查询必须用分号分隔，即

hive -e 'select * from tableA limit 10;select * from tableB limit 10'