如何将文件作为猪的架构?

时间:2014-12-18 18:00:30

标签: hadoop apache-pig

所以我有以下代码:

我的最终目标是让生成的文件成为另一个输入文件的模式。这可能吗?当前脚本的输出如下所示:

%declare INPUT '$input'
%declare SCHEMA '$schema'
%declare OUTPUT '$output'
%declare DEL '$del'
%declare COL ':'
%declare COM ','
A = LOAD '$SCHEMA' using PigStorage('$DEL') AS (field:chararray, dataType:chararray, flag:chararray, chars:chararray);
B = FOREACH A GENERATE CONCAT(field,CONCAT('$COL',CONCAT(REPLACE(REPLACE(dataType, 'decimal','double'), 'string', 'chararray'),'$COM')));
rmf $OUTPUT
STORE B INTO '$OUTPUT';

不确定正确的做法。

这是输出:

record_id:chararray,
offer_id:double,
decision_id:double,
offer_type_cd:integer,
promo_id:double,
pymt_method_type_cd:double,
cs_result_id:double,
cs_result_usage_type_cd:double,
rate_index_type_cd:double,
sub_product_id:double,
campaign_id:double,
market_cell_id:double,
assigned_offer_id:chararray,
accepted_offer_flag:chararray,
current_offer_flag:chararray,
offer_good_until_date:chararray,

1 个答案:

答案 0 :(得分:0)

当然,您可以使用run的{​​{1}}命令运行脚本并根据需要执行操作。有关如何操作的更多说明,请参阅此link
希望它有所帮助!