猪的增量装?

时间:2014-02-12 10:38:11

标签: hadoop apache-pig

我有一些数据来源(假设这些是用户事件) 每个源都有自己的事件定义。
在加载到HCatalog时,我创建了一个包含event_definitions (event_id, event_code, event_source, evend_description)的表,另一个包含events(event_is, date, etc...)的表 这些表是来自源表的所有日期的联合。

event_definitions.event_id是代理键,是events.event_id

的外键

此键取自猪RANK功能 初始加载时一切正常。 但我如何服务递增加载? event_definitions表中的新值必须比上一个更大的代理键值。有了RANK,就没有可能从准确的数字开始。它始终以数字1开头。

你如何服务于这些情况?

此致 帕维尔

0 个答案:

没有答案