Question

我正在尝试使用主要是TSV（制表符分隔值）的架构加载文件，但其中一个字段是JSON值。猪拉丁似乎有TabL（或其他）分隔值的TextLoader，以及JSON的JsonLoader ...

特别是，每行数据如下所示：

date\tevent_name\tevent_details\n

其中event_details是JSON格式的字符串。其他只是char数组。

加载此数据的最简单方法是什么？

注意：我正在使用Pig ver 0.11.1。

Answer 1

（经过大量研究后，答案是：）

从注册命令所需的http://mvnrepository.com/下载必要的库。

猪脚本如下：

register 'libs/elephant-bird-core-4.1.jar';
register 'libs/elephant-bird-pig-4.1.jar';
register 'libs/guava-14.0.1.jar';
register 'libs/json-simple-1.1.1.jar';
register 'libs/piggybank.jar';

define decode_json com.twitter.elephantbird.pig.piggybank.JsonStringToMap();

e1 = load '$filename' using PigStorage() as (
    date: chararray,
    event_name: chararray,
    event_details_str: chararray,
);

-- Remove the header row:
e2 = filter e1 by not date matches '.*DATE';

-- Convert the event_details from a JSON string to a map:
events = foreach e2 generate *, decode_json(event_details_str) as event_details;

Answer 2

mbells回答工作正常，我正在努力的一件事是如何检索地图值。下面是从事件映射中检索key1，key2的示例。

fields = FOREACH events GENERATE events#'key1', events#'key2';

如何在Pig Latin中加载包含JSON字段的TSV？

2 个答案: