访问Mapper的元数据

时间:2015-04-02 07:01:50

标签: hadoop dictionary oracle11g mapreduce cloudera

我有一个Hadoop Map reduce程序,它将文本文件作为输入。有关此文件的元数据存储在oracle数据库中。在mapper中,我想要来自Oracle表的这些信息元数据。 得到这个的最佳做法是什么?

解决方法1: 在map reduce中,驱动程序类使用JDBC连接获取详细信息。将信息存储在分布式缓存中。从mapper,在setup方法中访问它。 我的想法:还有其他快速解决方案吗?

解决方案2: 从映射器设置方法访问元数据。 我的想法:不,我不想这样做。 DB命中率会更高。编码不好。

任何其他智能解决方案???

0 个答案:

没有答案