我刚刚编写了一个非常简单的reduce函数,其中rereduce
执行路径与标准reduce
不同。
据我了解,rereduce
仅在某些情况下执行;特别是,要合并跨多个节点或大范围键执行的reduce
操作。
由于我的本地开发环境在具有相对较小数据集的单个节点上运行,如何在rereduce场景中有效地测试reduce函数的行为?
答案 0 :(得分:2)
您可以编写一个脚本来生成大量真实的虚拟数据。我能够测试我的map-reduce的唯一方法是使用真实或虚假的数据,但很多。
这是一个附带好处和反常的乐趣,但您也可以很好地了解索引和查看请求所需的时间,并了解您的应用程序将如何大规模执行。负载测试永远不会受到伤害。
答案 1 :(得分:0)