如何为单个配置单元表创建事实和维度表以及增量数据

Question

我是新手在hive中创建数据仓库（星型模式）。我的要求是，我能够使用sqoop job获得一个hive表和增量数据。对于这个hive表，我必须创建Fact和Dimension表以及不断更新的数据。 是否有可能在Hive中，如果是如何创建。如果没有，那么另一种方法是什么。 如果有人有任何想法请与我分享。

Answer 1

您可以使用某些步骤来自动化您的要求

1. 创建一个shell脚本，其中包含您的hive查询 创造事实＆amp;尺寸表

例如。 your_shell_script.sh将包含代码

#!/bin/sh

hive -e "use hivedb; CREATE TABLE FACTS as select your columns from Source_table;"

hive -e "use hivedb; CREATE TABLE DIMENSIONS as Select your coloumns from Source_table;"

注意：您可以使用任何想要使用的创建表方法，具体取决于您希望如何创建表，也可以添加分区。

1. 启动Linux操作系统的Crontab deamon。

2. 在您的Linux中创建一个Crontab entry，它将在主源表sqoop上传完成后的某个时间执行您的shell脚本。

例如。 crontab -e

0 11 * * * /path/to/your/script/your_shell_script.sh

请注意，此crontab条目将在早上11点运行您的shell脚本（在您加载sqoop之后）

希望这有帮助。