是否建议利用Hadoop生态系统并行处理来管理和维护缓慢变化的数据仓库规模?

时间:2019-03-31 12:18:11

标签: hadoop etl data-warehouse data-processing

我们有来自操作系统的每小时交易数据和每日批量加载的数据,我们将该数据工程化为MS SQL Server环境中的数据仓库维度(和事实)。如果被推荐,我们可以应用哪些快速有效的技术(Flume,Sqoop,Kafka,HDFS,HBase,Hive,KUDU,Spark,Impla)在Hadoop中实现?假设这些尺寸将由MS SQL Server数据仓库每小时消耗一次。

1 个答案:

答案 0 :(得分:0)

可能的选项是Nifi或MiniFi

https://nifi.apache.org/