如何使用Java代码中的JavaMongoRDD管道提供allowDiskUse:true选项或任何其他更好的方法

时间:2016-09-23 11:06:40

标签: java mongodb scala apache-spark

我正面临问题"例外:超出内存限制,通过allowDiskUse:true以选择加入。"对于示例代码

  

JavaMongoRDD aggregatedRdd = rdd       .withPipeline(Arrays.asList(Document.parse(aggregateQuery),                                   Document.parse(" {$ sort:{gatewaytime:-1}")));

有许多示例可以在mongo db aggregate()方法中通过allowDiskUse:true或在java中通过mongo客户端传递。

我没有找到任何示例或帮助如何使用Spark RDD.withPipeline()方法传递这些类型的选项,或者有比使用allowDiskUse更好的替代方法:true。

提前致谢。

0 个答案:

没有答案