Question

我正在开发一个Hadoop项目。我的减少阶段非常昂贵。我目前正在使用HashMap，但我得到了Error: Java Heap space，因为在Reduce中我构建了一个巨大的hashmap（数据集为32GB）。解决方案可能是具有磁盘回退的内存中Hashmap，而MapDB似乎符合我的需求。但我不确定用法。 diskMap对于每个Reduce Task都是唯一的，inMemory map对于每个reduce'key'都是唯一的。即使我设置expireMaxSize(3)进行测试，我也不确定何时使用onDisk映射以及逻辑是否正确。再次，为了测试我用20个假条目填充hashmap。基本上，为了避免堆溢出，我需要控制inMemory地图的增长。

public class TestReducer extends Reducer<LongWritable, BytesWritable, String, IntWritable> {

private int id;
DB dbDisk;
protected void setup(Context context) throws IOException, InterruptedException {
    id = context.getTaskAttemptID().getTaskID().getId();
    File diskmap = new File("tmp/diskmap"+id);
    diskmap.delete();
    dbDisk = DBMaker
                .fileDB("tmp/diskmap"+id)
                .make();
}

@Override
protected void reduce(LongWritable key, Iterable<BytesWritable> values, Context context)
        throws IOException, InterruptedException {

    DB dbMemory = DBMaker
            .memoryDB()
            .make();

    HTreeMap<Long,Integer> onDisk = dbDisk
            .hashMap("onDisk")
            .keySerializer(Serializer.LONG)
            .valueSerializer(Serializer.INTEGER)
            .createOrOpen();
    // fast in-memory collection with limited size
    HTreeMap<Long,Integer> inMemory = dbMemory
            .hashMap("inMemory")
            .expireMaxSize(3)
            .keySerializer(Serializer.LONG)
            .valueSerializer(Serializer.INTEGER)
            //this registers overflow to `onDisk`
            .expireOverflow(onDisk)
            .createOrOpen();

    for(int k=0;k<20;k++){
        inMemory.put((long)k,k*2);
    }
Set set = inMemory.entrySet();
    Iterator it = set.iterator();
    while(it.hasNext()) {
      Map.Entry<Long,Integer> entry = (Map.Entry<Long,Integer>)it.next();
      System.out.print("Key is: "+entry.getKey() + " & ");
      System.out.println("Value is: "+entry.getValue());
    }

}
protected void cleanup(Context context) throws IOException,InterruptedException {
    dbDisk.close();
}

}

Answer 1

MapDB可以在直接内存或应用程序堆上分配内存。

为了使用直接内存，您需要更换

DB dbMemory = DBMaker
             .memoryDB()
             .make();

带

DB dbMemory = DBMaker
              .memoryDirectDB()
              .make();

有一个java属性

XX:MaxDirectMemorySize

您可以设置设置它将使用的最大内存。

您仍然需要管理分配，以便为数据提供足够的内存，但是应用程序的堆不会随着这些数据而增长，并且您的应用程序本身不会抛出内存不足异常或达到最大堆限制（除非申请是邪恶的。）

内存中的MapDB与磁盘回退

1 个答案: