PIG HBASE失败;存储CSV

时间:2013-07-22 20:43:58

标签: hadoop hbase apache-pig

我从环境Hadoop,HBase,Pig开始; 我会在Hbase表上存储一个数据库; 这是我的请求:

hbase-> 创建 创建我的数据库。

我在HDFS文件上重新启动了我的CVS文件 hadoop dfs-copyFromLocal~ / data.csv / user / hduser / location.csv

我执行了我的请求PIG

raw_data = LOAD'/ user / hduser / data.csv'使用PigStorage(';')AS( WMO:int, 成熟度:charArray, 温度:int, temps_present:int, direction_du_vent:int, force_du_vent:int, 压力:int);

STORE INTO raw_data'hbase:// TrafficFlowGrenoble'使用 org.apache.pig.backend.hadoop.hbase.HBaseStorage( WMO:int成熟度:charArray温度:int temps_present:direction_du_vent int int force_du_vent int pressure:int');

这是我的错误: 2013-07-22 22:30:31,870 [main] ERROR org.apache.pig.tools.pigstats.PigStatsUtil - 1地图REDUCE作业失败! 2013-07-22 22:30:31,872 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计:

HadoopVersion PigVersion UserId StartedAt FinishedAt功能 1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31 UNKNOWN

失败!

失败的工作: JobId别名功能消息输出 job_201307222219_0001 raw_data MAP_ONLY消息:作业失败!错误 - 失败JobCleanup任务,任务:task_201307222219_0001_m_000001 hbase:// TrafficFlowGrenoble,

输入: 无法从“/ user / hduser / data.csv”

中读取数据

输出: 无法在“hbase:/ / TrafficFlowGrenoble”中生成结果

计数器: 总记录:0 写入的总字节数:0 可溢出内存管理器溢出计数:0 总袋数主动溢出:0 主动溢出总记录:0

版本: Hadoop的1.1.2 猪-0.11.1

export HBASE_HOME = / usr / lib / hbase

#export PIG_CLASSPATH =“${HBASE_HOME}/bin/hbase classpath:$ PIG_CLASSPATH”    export HADOOP_CLASSPATH =“${HBASE_HOME}/bin/hbase classpath:$ HADOOP_CLASSPATH”    #export PIG_CLASSPATH =“$ PIG_CLASSPATH:/usr/local/hbase/hbase-0.94.8.jar”    export PIG_CLASSPATH =“/ usr / local / hbase / conf / hbase-site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr/local/hbase/lib/zookeeper-3.4.5.jar :在/ usr /本地/ HBase的/ lib中/ $    #export PIG_CLASSPATH = / home / nadir / Documents / pig-0.11.1.jar

1 个答案:

答案 0 :(得分:0)

如果上面的代码与您输入的文件完全相同,则“/ user / hduser / location .csv”不是data.csv,因此Pig无法找到它