Question

我正在使用cassandra-orm插件（cassandra-orm:0.4.5）将点击从Postgres DB迁移到Cassandra。（我知道我可以使用原始数据导入，但我想使用groupBy和插件维护的显式索引。）

迁移过程很简单：我从Postgres中选择了一堆点击（通过GORM），然后我将它们刷新到Cassandra。每次单击都是一条新记录，并在Grails中创建一个新对象并保存在Cassandra中。有20个线程，我能够达到2000次点击/秒的吞吐量。 导入5百万次点击后，性能开始大幅下降至每秒50次点击。

我进行了一些分析，我发现，19个线程正在等待（停放），并且有一个线程在Groovy的AbstractConcurrentMapBase上执行rehash。

等待线程的堆栈跟踪：

Name: pool-4-thread-2
State: WAITING on org.codehaus.groovy.util.ManagedConcurrentMap$Segment@5387f7af
Total blocked: 45,027  Total waited: 55,891

Stack trace: 
 sun.misc.Unsafe.park(Native Method)
java.util.concurrent.locks.LockSupport.park(LockSupport.java:156)
java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:811)
java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireQueued(AbstractQueuedSynchronizer.java:842)
java.util.concurrent.locks.AbstractQueuedSynchronizer.acquire(AbstractQueuedSynchronizer.java:1178)
org.codehaus.groovy.util.LockableObject.lock(LockableObject.java:34)
org.codehaus.groovy.util.AbstractConcurrentMap$Segment.put(AbstractConcurrentMap.java:101)
org.codehaus.groovy.util.AbstractConcurrentMap$Segment.getOrPut(AbstractConcurrentMap.java:97)
org.codehaus.groovy.util.AbstractConcurrentMap.getOrPut(AbstractConcurrentMap.java:35)
org.codehaus.groovy.runtime.metaclass.ThreadManagedMetaBeanProperty$ThreadBoundGetter.invoke(ThreadManagedMetaBeanProperty.java:180)
groovy.lang.MetaMethod.doMethodInvoke(MetaMethod.java:233)
groovy.lang.MetaClassImpl.getProperty(MetaClassImpl.java:1604)
groovy.lang.ExpandoMetaClass.getProperty(ExpandoMetaClass.java:1140)
groovy.lang.MetaClassImpl.getProperty(MetaClassImpl.java:3332)
groovy.lang.ExpandoMetaClass.getProperty(ExpandoMetaClass.java:1152)
com.nosql.Click.getProperty(Click.groovy)

重新散列线程的堆栈跟踪：

Name: pool-4-thread-11
State: RUNNABLE
Total blocked: 46,544  Total waited: 57,433

Stack trace: 
 org.codehaus.groovy.util.AbstractConcurrentMapBase$Segment.rehash(AbstractConcurrentMapBase.java:217)
org.codehaus.groovy.util.AbstractConcurrentMap$Segment.put(AbstractConcurrentMap.java:105)
org.codehaus.groovy.util.AbstractConcurrentMap$Segment.getOrPut(AbstractConcurrentMap.java:97)
org.codehaus.groovy.util.AbstractConcurrentMap.getOrPut(AbstractConcurrentMap.java:35)
org.codehaus.groovy.runtime.metaclass.ThreadManagedMetaBeanProperty$ThreadBoundGetter.invoke(ThreadManagedMetaBeanProperty.java:180)
groovy.lang.MetaMethod.doMethodInvoke(MetaMethod.java:233)
groovy.lang.MetaClassImpl.getProperty(MetaClassImpl.java:1604)
groovy.lang.ExpandoMetaClass.getProperty(ExpandoMetaClass.java:1140)
groovy.lang.MetaClassImpl.getProperty(MetaClassImpl.java:3332)
groovy.lang.ExpandoMetaClass.getProperty(ExpandoMetaClass.java:1152)
com.fma.nosql.Click.getProperty(Click.groovy)

经过几个小时的调试后我发现问题出现在动态属性“_cassandra_cluster_”中，它被添加到所有插件管理对象中：

// cluster property (_cassandra_cluster_)
clazz.metaClass."${CLUSTER_PROP}" = null

然后，此属性在内部保存在ThreadManagedMetaBeanProperty instance2Prop映射中。当访问动态属性def cluster = click._cassandra_cluster_时，单击实例将保存到带有软引用的instance2Prop映射。到目前为止，如此好的软引用可以被垃圾收集，对吧。但是，ManagedConcurrentMap实现中似乎存在一个错误，它忽略了垃圾收集的元素并继续重新散列和扩展地图（描述为here和here）。

解决方法

由于地图在内部保存在类级别，因此唯一可行的解决方案是重新启动服务器。最终我开发了一个脏解决方案，它从僵尸元素中清除内部地图。以下代码在一个单独的线程中运行：

public void rehashClickSegmentsIfNecessary() {
    ManagedConcurrentMap instanceMap = lookupInstanceMap(Click.class, "_cassandra_cluster_")
    if(instanceMap.fullSize() - instanceMap.size() > 50000) {
        //we have more than 50 000 zombie references in map
        rehashSegments(instanceMap)
    }
}

private void rehashSegments(ManagedConcurrentMap instanceMap) {
    org.codehaus.groovy.util.ManagedConcurrentMap.Segment[] segments = instanceMap.segments
    for(int i=0;i<segments.length;i++) {
        segments[i].lock()
        try {
            segments[i].rehash()
        } finally {
            segments[i].unlock()
        }
    }
}

private ManagedConcurrentMap lookupInstanceMap(Class clazz, String prop) {
    MetaClassRegistry registry = GroovySystem.metaClassRegistry
    MetaClassImpl metaClass = registry.getMetaClass(clazz)
    return metaClass.getMetaProperty(prop, false).instance2Prop
}

您是否有使用cassandra-orm或任何其他连接到cassandra的grails插件的制作经验？

在百万条记录之后，cassandra-orm的表现大幅下降

0 个答案: