从普通数据库表创建大数据

时间:2013-04-01 02:19:12

标签: hadoop bigdata

我们有应用程序,其中包含一个表,其中包含我们每天都会参考的交易数据。它有数百万行。显然查询该表非常慢。

有什么方法可以通过该表创建bigdata并使用hadoop和相关技术来查询结果?

1 个答案:

答案 0 :(得分:0)

您可以使用Apache Sqoop在Hadoop中导入大数据库。 在最后的日子(或根据您自己的方案),您可以导入已加载到exisitng数据库中的事务。因此,每天都会以这种方式将事务添加到Hadoop内部的现有数据中。

您需要看到的技术

Sqoop:从数据库导入数据 Hive:提供类似SQL的接口来查询数据搜索Apache Hive Oozie:每天都要输入数据。搜索Apache oozie Sqoop具有可以使用的增量负载功能。

除了Hive,您可以使用Impala查询数据,它的工作速度非常快