我从环境Hadoop,HBase,Pig开始; 我会在Hbase表上存储一个数据库; 这是我的请求:
hbase-> 创建 创建我的数据库。
我在HDFS文件上重新启动了我的CVS文件 hadoop dfs-copyFromLocal~ / data.csv / user / hduser / location.csv
我执行了我的请求PIG
raw_data = LOAD'/ user / hduser / data.csv'使用PigStorage(';')AS( WMO:int, 成熟度:charArray, 温度:int, temps_present:int, direction_du_vent:int, force_du_vent:int, 压力:int);
STORE INTO raw_data'hbase:// TrafficFlowGrenoble'使用 org.apache.pig.backend.hadoop.hbase.HBaseStorage( WMO:int成熟度:charArray温度:int temps_present:direction_du_vent int int force_du_vent int pressure:int');
这是我的错误: 2013-07-22 22:30:31,870 [main] ERROR org.apache.pig.tools.pigstats.PigStatsUtil - 1地图REDUCE作业失败! 2013-07-22 22:30:31,872 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计:
HadoopVersion PigVersion UserId StartedAt FinishedAt功能 1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31 UNKNOWN
失败!
失败的工作: JobId别名功能消息输出 job_201307222219_0001 raw_data MAP_ONLY消息:作业失败!错误 - 失败JobCleanup任务,任务:task_201307222219_0001_m_000001 hbase:// TrafficFlowGrenoble,
输入: 无法从“/ user / hduser / data.csv”
中读取数据输出: 无法在“hbase:/ / TrafficFlowGrenoble”中生成结果
计数器: 总记录:0 写入的总字节数:0 可溢出内存管理器溢出计数:0 总袋数主动溢出:0 主动溢出总记录:0
版本: Hadoop的1.1.2 猪-0.11.1
#export PIG_CLASSPATH =“${HBASE_HOME}/bin/hbase classpath
:$ PIG_CLASSPATH”
export HADOOP_CLASSPATH =“${HBASE_HOME}/bin/hbase classpath
:$ HADOOP_CLASSPATH”
#export PIG_CLASSPATH =“$ PIG_CLASSPATH:/usr/local/hbase/hbase-0.94.8.jar”
export PIG_CLASSPATH =“/ usr / local / hbase / conf / hbase-site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr/local/hbase/lib/zookeeper-3.4.5.jar :在/ usr /本地/ HBase的/ lib中/ $
#export PIG_CLASSPATH = / home / nadir / Documents / pig-0.11.1.jar
答案 0 :(得分:0)
如果上面的代码与您输入的文件完全相同,则“/ user / hduser / location .csv”不是data.csv,因此Pig无法找到它