Question

所以我有大约7000万个空间记录，我想添加到空间层（我用一个小集测试，一切都很顺利，查询返回与postgis相同的结果，图层操作似乎很好）但是当我尝试将所有空间记录添加到数据库时，性能会迅速降低到大约500万（约2小时运行时间）记录变得非常慢并且挂起~770万（8小时失效）。 / p>

由于空间索引是使用图形结构构建自身的Rtree，我想知道为什么在数字os记录增加时它会降级。 Rtree插入是O（n）如果我没有弄错，这就是为什么我担心它可能是重新排列边界框之间的东西，不是树叶的节点导致addToLayer进程随着时间的推移变慢。

目前我正在向图层添加节点（许多硬编码的东西，因为我试图在模式和代码样式之前找出问题）：

Transaction tx = database.beginTx();
    try {

        ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);
        long i = 0L;
        for (Node node : layerNodes) {
            Transaction tx2 = database.beginTx();
            try {
                layer.add(node);
                i++;
                if (i % commitInterval == 0) {
                    log("indexing (" + i + " nodes added) ... time in seconds: "
                            + (1.0 * (System.currentTimeMillis() - startTime) / 1000));
                }
                tx2.success();
            } finally {
                tx2.close();
            }
        }
        tx.success();
    } finally {
        tx.close();
    }

有什么想法？关于如何提高性能的任何想法？

ps。：使用java API Neo4j 2.1.2，空间0.13 酷睿i5 3570k @ 4.5Ghz，32GB内存专用的2TB 7200硬盘到数据库（没有操作系统，没有虚拟内存文件，只有数据本身）

ps2。：所有几何都是LineStrings（如果那很重要：P）它们代表街道，道路等。

ps3。：节点已经存在于数据库中，我只需要将它们添加到Layer中，这样我就可以执行空间查询，bbox和wkb属性可以正常，经过测试并适用于一小组。

提前谢谢

再次更改并运行代码（仅需要5小时将点插入数据库，不涉及任何层）这种情况发生后，将尝试增加jvm堆和embeddedgraph内存参数。

indexing (4020000 nodes added) ... time in seconds: 8557.361
Exception in thread "main" org.neo4j.graphdb.TransactionFailureException: Unable to commit transaction
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:140)
    at gis.CataImporter.addDataToLayer(CataImporter.java:263)
    at Neo4JLoadData.addDataToLayer(Neo4JLoadData.java:138)
    at Neo4JLoadData.main(Neo4JLoadData.java:86)
Caused by: javax.transaction.SystemException: Kernel has encountered some problem, please perform neccesary action (tx recovery/restart)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
    at org.neo4j.kernel.impl.transaction.KernelHealth.assertHealthy(KernelHealth.java:61)
    at org.neo4j.kernel.impl.transaction.TxManager.assertTmOk(TxManager.java:339)
    at org.neo4j.kernel.impl.transaction.TxManager.getTransaction(TxManager.java:725)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:119)
    ... 3 more
Caused by: javax.transaction.xa.XAException
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:560)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:448)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:385)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.commit(TransactionImpl.java:123)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:124)
    at gis.CataImporter.addDataToLayer(CataImporter.java:256)
    ... 2 more
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.neo4j.kernel.impl.nioneo.store.DynamicRecord.clone(DynamicRecord.java:179)
    at org.neo4j.kernel.impl.nioneo.store.PropertyBlock.clone(PropertyBlock.java:215)
    at org.neo4j.kernel.impl.nioneo.store.PropertyRecord.clone(PropertyRecord.java:221)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:118)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:81)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.ensureHasBeforeRecordImage(RecordChanges.java:217)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.prepareForChange(RecordChanges.java:162)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.forChangingData(RecordChanges.java:157)
    at org.neo4j.kernel.impl.nioneo.xa.PropertyCreator.primitiveChangeProperty(PropertyCreator.java:64)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransactionContext.primitiveChangeProperty(NeoStoreTransactionContext.java:125)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransaction.nodeChangeProperty(NeoStoreTransaction.java:1244)
    at org.neo4j.kernel.impl.persistence.PersistenceManager.nodeChangeProperty(PersistenceManager.java:119)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation$1.visitNodePropertyChanges(KernelTransactionImplementation.java:344)
    at org.neo4j.kernel.impl.api.state.TxStateImpl$6.visitPropertyChanges(TxStateImpl.java:238)
    at org.neo4j.kernel.impl.api.state.PropertyContainerState.accept(PropertyContainerState.java:187)
    at org.neo4j.kernel.impl.api.state.NodeState.accept(NodeState.java:148)
    at org.neo4j.kernel.impl.api.state.TxStateImpl.accept(TxStateImpl.java:160)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.createTransactionCommands(KernelTransactionImplementation.java:332)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.prepare(KernelTransactionImplementation.java:123)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.prepareKernelTx(XaResourceManager.java:900)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.commit(XaResourceManager.java:510)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceHelpImpl.commit(XaResourceHelpImpl.java:64)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:548)
    ... 7 more

28/07 - ＆gt;增加内存没有帮助，现在我正在测试RTreeIndex和LayerRTreeIndex中的一些修改（字段maxNodeReferences究竟做了什么？

// Constructor

public LayerRTreeIndex(GraphDatabaseService database, Layer layer) {
    this(database, layer, 100);     
}

public LayerRTreeIndex(GraphDatabaseService database, Layer layer, int maxNodeReferences) {
    super(database, layer.getLayerNode(), layer.getGeometryEncoder(), maxNodeReferences);
    this.layer = layer;
}

硬编码为100，并且当（添加的节点数）my addToLayer方法崩溃到OutOfMemory错误时更改其值更改，如果我没有记错，更改该字段的值会增加或减少树的宽度，深度（宽度超过50，50深度超过100）。

总结目前的进展情况：

@Jim
根据@Peter的建议，内存堆增加到27GB
要进行3个空间层，但现在问题变得真实，因为它们是重要的。
在向空间层添加节点时进行了一些内存分析，我找到了有趣的观点。

内存和GC分析：http://postimg.org/gallery/biffn9zq/

在整个过程中使用最多内存的类型是byte []，我只能假设它属于几何wkb属性（几何本身或rtree的bbox）。考虑到这一点，我还注意到（您可以检查新的分析图像）所使用的堆空间大小永远不会低于18GB标记。

根据这个问题are java primitives garbage collected java中的原始类型是原始数据，因此不受垃圾收集的影响，并且只在方法返回时从方法的堆栈中释放（因此，当我创建一个新的空间层时，所有这些wkb字节数组将保留在内存中，直到我手动关闭图层对象。）

这有什么意义吗？是不是有更好的方法来管理内存资源，以便该层不会保留未使用的旧数据？

Answer 1

Catacavaco，

您正在将每个添加作为单独的事务。要使用commitInterval，您需要将代码更改为类似的内容。

Transaction tx = database.beginTx();

try {
    ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);

    long i = 0L;

    for (Node node : layerNodes) {
        layer.add(node);
        i++;

        if (i % commitInterval == 0) {
            tx.success();
            tx.close();

            log("indexing (" + i + " nodes added) ... time in seconds: "
                + (1.0 * (System.currentTimeMillis() - startTime) / 1000));

            tx = database.beginTx();
        }
    }

    tx.success();
} finally {
    tx.close();
}

看看这是否有帮助。

恩典与和平，

吉姆

Answer 2

查看Error java.lang.OutOfMemoryError: GC overhead limit exceeded，可能会有一些过多的对象创建。从你的分析结果看起来不像它，你能仔细检查吗？

Answer 3

最后通过三个修复解决了这个问题：设置cache_type = none 增加neostore低级图形引擎的堆大小设置use_memory_mapped_buffers = true，以便内存管理由操作系统完成而不是缓慢的JVM

这样，我在空间图层中的自定义批量插入速度更快，没有任何错误/异常

感谢所提供的所有帮助，我想我的回答只是人们在这里提供的所有提示的组合，非常感谢

添加到空间层的记录后，Neo4J的性能大幅下降

3 个答案: