我们有应用程序,其中包含一个表,其中包含我们每天都会参考的交易数据。它有数百万行。显然查询该表非常慢。
有什么方法可以通过该表创建bigdata并使用hadoop和相关技术来查询结果?
答案 0 :(得分:0)
您可以使用Apache Sqoop在Hadoop中导入大数据库。 在最后的日子(或根据您自己的方案),您可以导入已加载到exisitng数据库中的事务。因此,每天都会以这种方式将事务添加到Hadoop内部的现有数据中。
您需要看到的技术
Sqoop:从数据库导入数据 Hive:提供类似SQL的接口来查询数据搜索Apache Hive Oozie:每天都要输入数据。搜索Apache oozie Sqoop具有可以使用的增量负载功能。
除了Hive,您可以使用Impala查询数据,它的工作速度非常快