用于数据库访问的PIG拉丁文脚本

Question

我正在尝试使用PIG实现代理密钥生成器。 我需要在数据库中保留最后生成的密钥，并在数据库中查询下一个可用密钥。

PIG是否支持使用ODBC查询数据库？ 如果是，请提供指导或一些样品。

Answer 1

很抱歉没有直接回答您的问题，但这不是您想要做的事情。原因如下：

• 您的MapReduce作业将把您的数据库视为一个单一的性能阻塞点（您基本上是在破坏Hadoop的目的）。
• 使用speculative execution，您将有两次相同的数据加载，因此当其中一个任务被杀死时，某些唯一标识符将不存在。

我认为如果你可以想象每个记录一次点击数据库，你就可以在一个帖子中没有MapReduce就可以完成这个代理键的丰富。

无论哪种方式，在Hadoop中构建代理键或自动计数器并不容易，因为事物的无共享性质。