Question

我有一个简单的csv文件

1,2,3,6/23/2011 7:40,KNOWS NOT MUCH,4,5
2,3,4,6/23/2011 7:40,FOO BAR BAZ, 6, 7

我在hdfs上复制了这个，我编写了这个程序

grunt> A = LOAD '/staging/foo.csv' USING PigStorage(',') AS (A : int, B : INT, C: INT, D: DATETIME, E: CHARARRAY, F : INT, G : INT);
grunt> DUMP A;

输出

Total input paths to process : 1
(1,2,3,,KNOWS NOT MUCH,4,5)
(2,3,4,,FOO BAR BAZ,6,7)

日期部分发生了什么？

Answer 1

6/23/2011 7:40不支持您的输入datetime format，因此在加载过程中，pig会跳过此日期部分。要解决此问题，只需将日期column D声明为chararray，然后根据需要转换为以下任何格式。