从OLTP Mysql使用Hadoop Hive创建OLAP

Question

我对用于制作OLAP的Wiki中读取的Hadoop hive感到困惑。 现在我想从使用Mysql的OLTP数据库在Hive上创建OLAP。

我怎么能解决这个问题？我可以使用Kettle在Hive中制作OLAP吗？ 任何指导如何从OLTP mysql在Hive上制作OLAP？

韩国社交协会

Answer 1

我建议采用以下方法：
a）指定OLTP进程的历史记录部分。通常它是某种操作日志。让我们称之为事实表。
b）将事实表按时间划分 c）通过将最旧的分区导出为CSV并从MySQL中删除来定期从MySQL卸载最旧的分区 e）将此CSV文件加载到Hive

通过实现此架构，您将获得配置单元中除最新数据之外的所有数据，并防止MySQL OLTP数据库的增长。