使用pig和mongodb导入数据时添加mongo查询

时间:2015-03-09 00:06:06

标签: mongodb hadoop apache-pig mongodb-query hadoop-plugins

在apache pig中使用MongoLoader导入数据时,如何附加查询?我可以在mongo-hadoop wiki中看到有" mongo.input.query"但它似乎与标准的map reduce功能有关,而不是Apache Pig。

raw = LOAD 'mongodb://localhost:27017/demo.yield_historical' USING com.mongodb.hadoop.pig.MongoLoader;

它会与此类似吗?

raw = LOAD 'mongodb://localhost:27017/demo.yield_historical' USING com.mongodb.hadoop.pig.MongoLoader WITH mongo.input.query={"_id":{"$gt":{"$date":1182470400000}}};

1 个答案:

答案 0 :(得分:3)

你可以这样做:

set mongo.input.query '{"value.task.creation":{ "$gte": { "$date": 1421366400}, "$lt" : { "$date": 1421539200} } }'

data = LOAD 'mongodb://54.93.131.188:27017/foo.units'
          USING com.mongodb.hadoop.pig.MongoLoader(); 
DUMP data;