猪存储脚本失败

时间:2016-04-02 01:18:56

标签: hadoop apache-pig dump

我正在运行一个猪脚本,运行正常但是当我尝试将输出存储在文件中时它失败了。 转储工作正常。 有人可以让我知道原因或者至少指导我如何排除故障。

pig -useHCatalog;
a = load 'geolocation_part' using org.apache.hive.hcatalog.pig.HCatLoader();
b = filter a by truckid == 'A1';
Dump b;
store b INTO '/user/admin/pig/scritps/geolocation_20160401';

1 个答案:

答案 0 :(得分:0)

你应该有正确的脚本,如下所示

pig -useHCatalog;
a = load 'geolocation_part' using org.apache.hive.hcatalog.pig.HCatLoader();
b = filter a by truckid == 'A1';
store b INTO '/user/admin/pig/scritps/geolocation_20160401';

DUMP用于查看数据关系。它显示数据,我们可以确认操作是否正在获取正确的数据。

永远不要在脚本中使用DUMP。

不要使用DUMP,因为它会禁用多个查询执行,并且可能会降低执行速度。 (如果您已在脚本中包含DUMP语句以进行调试,则应将其删除。)