我尝试在本地和hdfs模式下对pig中的别名运行说明命令。 但我得到的错误。
2014-08-27 19:18:06,703 [主要]错误 org.apache.pig.pen.ExampleGenerator - 读取数据时出错。内部 创建作业配置时出错。 java.lang.RuntimeException:内部 创建作业配置时出错。 at org.apache.pig.pen.ExampleGenerator.getExamples(ExampleGenerator.java:160) 在org.apache.pig.PigServer.getExamples(PigServer.java:1182) 在org.apache.pig.tools.grunt.GruntParser.processIllustrate(GruntParser.java:739) 在org.apache.pig.tools.pigscript.parser.PigScriptParser.Illustrate(PigScriptParser.java:626) 在org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:323) 在org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:194) 在org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:170) 在org.apache.pig.tools.grunt.Grunt.run(Grunt.java:69) 在org.apache.pig.Main.run(Main.java:538) 在org.apache.pig.Main.main(Main.java:157) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) 在org.apache.hadoop.util.RunJar.main(RunJar.java:208)2014-08-27 19:18:06,707 [main] ERROR org.apache.pig.tools.grunt.Grunt - 错误2997:遇到IOException。日志文件中的异常详细信息:/opt/pig_1409147241095.log
我正在使用此示例运行Illustrate命令。
假设输入文件是'visits.txt',其中包含以下数据:
Amy cnn.com 20070218 Fred harvard.edu 20071204 Amy
bbc.com 20071205 Fred stanford.edu 20071206
grunt会话可能看起来像这样(注意在加载数据时使用模式.ExampleGenerator需要你提供别名):
grunt> visits = load 'visits.txt' as (user, url, timestamp);
grunt> recent_visits = filter visits by timestamp >= '20071201';
grunt> user_visits = group recent_visits by user;
grunt> num_user_visits = foreach user_visits generate group, COUNT(recent_visits);
grunt> illustrate num_user_visits
答案 0 :(得分:1)
在pig.enable.plan.serialization=false
/etc/pig/conf/pig.properties