向新列添加日期会返回错误

时间:2016-06-15 14:07:19

标签: apache-pig hdfs

我正在尝试在我的文件中添加一个新列。我想将日期添加到我的文件的每一行。

文件名是:2016-06-15.txt

我的文件架构是:

A  B  C
7  8  13

我想获得:

Date        A  B  C
2016-06-15  7  8  13

为此我正在使用Pig以下脚本:

A = LOAD 'user/cloudera/Analytics/source/file.txt' using PigStorage(' ','-tagPath');
DUMP A ;   ****--> ERROR****
STORE A INTO 'user/cloudera/Analytics/source/file.txt' USING PigStorage(' ');  ****--> ERROR****

但我收到错误,我没有任何可用日志:(任何人都可以提供帮助?非常感谢!

1 个答案:

答案 0 :(得分:0)

您必须使用-tagFile选项将文件名作为第一个字段。 在检查之前确保文件路径是正确的。在文件路径的开头看起来像正斜杠一样。确保在PigStorage.Seems中使用正确的分隔符,例如列由制表符或多个空格分隔。最后选择一个不同的文件夹来存储新文件,否则你将得到一个文件存在错误。

A = LOAD '/user/cloudera/Analytics/source/2016-06-15.txt' using PigStorage(' ','-tagFile');
STORE A INTO '/user/cloudera/Analytics/NEW_source/2016-06-15.txt' USING PigStorage(' ');