使用Pig将CSV文件加载到HBase时,是否可以忽略CSV文件中的列?

时间:2016-02-10 17:58:28

标签: csv hbase apache-pig

使用Apache Pig将它们加载到HBase中时,我需要忽略CSV文件中的几列。

CSV文件示例:

No,Name,City
1,a,ny
2,b,la
3,c,chi

我是否可以只将NoCity加载到HBase而忽略Name

1 个答案:

答案 0 :(得分:0)

raw_data = LOAD 'hdfs//Sample.txt' USING PigStorage(',') AS (No:int,Name:chararray,City:chararray);
selected_data = FOREACH raw_data GENERATE $0 as No,$2 as City;

STORE selected_data INTO 'hbase://YourTable' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('YourTable:City');