我在cassandra中有一个大数据集,我使用hive来分析和发送数据到hdfs文件系统。我想知道是否可以按appName进行分组,并根据appName将数据发送到differant hdfs文件系统(请注意应用程序名称未预定义)
appName数据
a1 abc
a1 pqr
a1 qwe
a2 my
a2数据
a2 abc
a2 bnm
a3 ewr
a3 asf
a4 abc123
a1数据集 - > / apps / a1 a2数据集 - > / apps / a2 ECT
答案 0 :(得分:1)
动态分区:https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert可能适合您。
您将无法在HDFS中选择路径,但不同的应用程序将转到不同的文件夹。