根据组将数据发送到HDFS文件系统

时间:2013-09-23 14:08:03

标签: hive

我在cassandra中有一个大数据集,我使用hive来分析和发送数据到hdfs文件系统。我想知道是否可以按appName进行分组,并根据appName将数据发送到differant hdfs文件系统(请注意应用程序名称未预定义)

appName数据

a1 abc

a1 pqr

a1 qwe

a2 my

a2数据

a2 abc

a2 bnm

a3 ewr

a3 asf

a4 abc123

a1数据集 - > / apps / a1 a2数据集 - > / apps / a2 ECT

1 个答案:

答案 0 :(得分:1)

动态分区:https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert可能适合您。
您将无法在HDFS中选择路径,但不同的应用程序将转到不同的文件夹。