如何对大数据进行复杂查询?

时间:2014-12-01 14:51:46

标签: hadoop hive

每一个人。 我在hdfs中有一些关于6G的数据已经从mysql导出了。我已经写了mapreduces预处理数据来填充一些关键字段,可以很容易地查询数据。 由于业务需求是按日,小时,医院,区域等不同的聚合数据组, 所以我必须编写许多hive sqls将数据导出到本地磁盘,然后我编写python脚本来解析本地磁盘上的文件,然后根据需要获取数据。

在hadoop上有一些好的技巧可以解决我的需求。我在考虑。 请帮帮我。

0 个答案:

没有答案