Question

好的，我已经完成了所有的Google搜索和文档阅读工作，但仍然找不到解决方案。

我正在从此处下载CSV文件导出：Traffic Crashes Chicago

我编写了一个PIG脚本，该脚本将过滤掉不需要的列，以便输出仅包含所需的列。我遇到的问题是，当我使用（FOREACH GENERATE）PIG时，如果该字段为null，PIG将从上一列中获取数据并将其插入到以下字段中。

我不想过滤掉空值，因为我需要此数据集中的每一行。如何防止PIG插入不正确的数据，或者如果PIG遇到空值，而不是从前几列中插入内容，有没有办法插入“”？

仅几个解释：

我正在foreach上创建某种模式（“ alias”为“ alias”），因为如果不这样做，输出将删除null值上的逗号，并且由于将要导入，该表将被弄乱将此输入到SQL Server中，我需要所有PK和FK都存在才能匹配其他表。

我正在使用DISTINCT以便将输出保留到一个文件，否则输出将分散到多个文件。

这是运行脚本后得到的输出：

Output of PIG script

这是我的PIG脚本：

A = LOAD 'Traffic_Crashes.csv' 
USING PigStorage (',') 
AS (RD_NO: chararray, CRASH_DATE_EST_I: chararray, CRASH_DATE: chararray, POSTED_SPEED_LIMIT: chararray, TRAFFIC_CONTROL_DEVICE: chararray, DEVICE_CONDITION: chararray, WEATHER_CONDITION: chararray, LIGHTING_CONDITION: chararray, FIRST_CRASH_TYPE: chararray, TRAFFICWAY_TYPE: chararray, LANE_CNT: chararray, ALIGNMENT: chararray, ROADWAY_SURFACE_COND: chararray, ROAD_DEFECT: chararray, REPORT_TYPE: chararray, CRASH_TYPE: chararray, INTERSECTION_RELATED_I: chararray, NOT_RIGHT_OF_WAY_I: chararray, HIT_AND_RUN_I: chararray, DAMAGE: chararray, DATE_POLICE_IFIED: chararray, PRIM_CONTRIBUTORY_CAUSE: chararray, SEC_CONTRIBUTORY_CAUSE: chararray, STREET_NO: chararray, STREET_DIRECTION: chararray, STREET_NAME: chararray, BEAT_OF_OCCURRENCE: chararray, PHOTOS_TAKEN_I: chararray, STATEMENTS_TAKEN_I: chararray, DOORING_I: chararray, WORK_ZONE_I: chararray, WORK_ZONE_TYPE: chararray, WORKERS_PRESENT_I: chararray, NUM_UNITS: chararray, MOST_SEVERE_INJURY: chararray, INJURIES_TOTAL: chararray, INJURIES_FATAL: chararray, INJURIES_INCAPACITATING: chararray, INJURIES_NON_INCAPACITATING: chararray, INJURIES_REPORTED__EVIDENT: chararray, INJURIES_NO_INDICATION: chararray, INJURIES_UNKNOWN: chararray, CRASH_HOUR: chararray, CRASH_DAY_OF_WEEK: chararray, CRASH_MONTH: chararray, LATITUDE: chararray, LONGITUDE: chararray, LOCATION: chararray);

B = FOREACH A GENERATE RD_NO as RD_NO, CRASH_DATE as CRASH_DATE, PRIM_CONTRIBUTORY_CAUSE as PRIM_CONTRIBUTORY_CAUSE, MOST_SEVERE_INJURY AS MOST_SEVERE_INJURY;

C = DISTINCT D;

STORE C INTO 'crashFilter_Output/' USING PigStorage (',');

感谢阅读此书的任何人，我对此非常陌生，它是用于学校项目的。

Answer 1

请尝试使用CSVLoader。

DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'Traffic_Crashes.csv' USING CSVLoader() AS (RD_NO: char ...

这里的问题是PigStorage无法识别带引号的字符串。

之类的字段

"OVER $1,500"

在PigStorage中被视为两个字段，因此导致输出中的意外变化。

在PIG LATIN脚本上过滤列可从其他为null的单元格上的列插入数据

1 个答案: