Question

我试图用＆＃34;随机＆＃34;填充一堆记录。数据，所有这些都是为了测试具有大量数据的应用程序可用性。

所以我虽然 - 完美！，我已经有了我的插入方法，它做了一些重复检查，以及所有这些。我所要做的就是循环x次。并使用db中的随机值填充。

所以我为每组数据点击一次数据库（我的例子中有三件事，用户，事物1和事物2）我做循环，并设置我想要随机插入的值 - 并调用我的插入... < / p>

它工作正常，直到第80个循环然后它开始减速，直到180左右，CPU粉丝全力以赴，CF花了......我已经尝试过了添加一个“睡眠”＆＃39;在每个循环结束时命令，给出任何＆＃39;有机会解决，做垃圾收集或其他什么。

以下是日志中的错误 - ＆＃34; java.lang.OutOfMemoryError：超出了GC开销限制＆＃34;

运气不好。任何人都可以给我一些洞察力 - 我有一个相同的问题，约18个月前，一些卡手分析。我认为这仅仅是因为卡片手上的迭代次数和＃39;太广泛了，我接受了。

但这基本上是1000个插入语句，在每个语句之前调用并检查现有记录......这不应该是一个巨大的消耗。应该是？ - 在每个循环中，不应该清除每个数据结构吗？完成后会释放每个数据库连接吗？

我怀疑答案是＆＃39;比一个代码更具理论性和基础性。更正。但我真的很想知道，因为它只会让未来的代码更加强大。

由于

这是基本的循环结构。

// get master lists of all available data - will use for random selection
users  = createObject( 'component', 'users' ).getFullList;
thing1 = createObject( 'component', 'thing1' ).getFullList;
thing2 = createObject( 'component', 'thing2' ).getFullList;

for ( i = 1; i <= 1000; i++ ) {
    // get random id from within the recorset returned
    args = structNew();
    args['app_id'] = 1;
    args['user_id']   = users.id[RandRange( 1, users.recordcount , 'SHA1PRNG' )];
    args['thing1_id'] = thing1.id[RandRange( 1, thing1.recordcount , 'SHA1PRNG' )];
    args['thing2_id'] = thing2.id[RandRange( 1, thing2.recordcount , 'SHA1PRNG' )];

    // cehck for dups and put the data
    return = putData( argumentCollection = args );

    // tell me count and let me know if it succeeded
    writeoutput( '( #i# = #return# )' );

    // flush it - so I know where we are
    getPageContext().getOut().flush();

    // help garbage collection? something is causing a bog down
    structClear( args );
}

以下是在循环之前实例化的对象调用的其他方法。没有过多的＆＃39;在循环中创建的组件 - 所有这些都发生在循环之前。

/*
    methods from other components
*/

putData( [my arguments] ) {
    var isDuplicate = false;

    transaction action = 'begin' {
        // check for existing (dont allow dups)
        isDuplicate = chekForDuplicate( argumentcollection = arguments );

        if ( !isDuplicate ) {
            // deduct from users balance
            deduct = deductFromBalance(
                                        user_id = arguments.user_id
                                        ,units = 1
                                    );

            if ( deduct.success ) {
                try {
                    // put in users acct
                    insertData( argumentcollection = arguments );
                    transaction action = 'commit';
                    return true;
                } catch ( any e ) {
                    transaction action = 'rollback';
                    return false;
                }
            } else {
                transaction action = 'rollback';
                return false;
            }
        } else {
            transaction action = 'rollback';
            return false;
        }
    }
}

chekForDuplicate( [my arguments] ) {
    // check for uplicate
    var r = new Query(
        datasource = "myDSN"
        ,sql = "
            SELECT
                id
            FROM
                eventTable                  
            WHERE
                app_id = ?
            AND
                user_id = ?
            AND
                thing1_id = ?
            AND
                thing2_id = ?
        "
        ,parameters = [
                 { value = val( arguments.app_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.user_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.thing1_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.thing2_id ), cfsqltype = 'CF_SQL_INTEGER' }
        ]
    ).execute().getPrefix();

    if ( r.recordcount ) {
        return true;
    } else {
        return false;
    }
}


deductFromBalance( [myArgs] ) {
    var r = {};
        r['beginningBalance'] = checkBalance( arguments.user_id );
        r['unit'] = arguments.units;
        r['success'] = false;

        if ( r['beginningBalance'] > 0 ) {
            adjustBalance( argumentCollection = arguments );
        }

        r['endingBalance'] = checkBalance( arguments.user_id );

        if ( r['beginningBalance'] - r['endingBalance'] == r['unit'] ) {
            r['success'] = true;
        }

    return r;
}

checkBalance( [myArgs] ) {
    // return the balance for this user
    var r = new Query(
            datasource = 'myDSN'
            ,sql = "
                SELECT
                    balance
                FROM
                    users
                WHERE
                    id = ?
            "
            ,parameters = [
                { value = val( arguments.user_id ), cfsqltype = 'CF_SQL_INTEGER' }
            ]
        ).execute().getResult();

    return val( r.balance );
}

adjustBalance( [myArgs] ) {
    var r = false;
    var bal = checkBalance( arguments.user_id );

    if ( bal >= 0 && arguments.units > 0 ) {
        var q = new Query(
            datasource = 'myDSN'
            ,sql = "
                UPDATE
                    users
                SET
                    balance = ( balance + ? )
                WHERE
                    id = ?
            "
            ,parameters = [
                 { value = val( arguments.units ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.user_id ), cfsqltype = 'CF_SQL_INTEGER' }
            ]
        ).execute();

        r = true;
    }
    return r;
}

insertData( [myArgs] ) {
    // insert data
    var r = new Query(
            datasource = "myDSN"
            ,sql = "
                INSERT INTO
                    eventTable
                    (
                        app_id
                        ,user_id
                        ,thing1_id
                        ,thing2_id
                    )
                VALUES
                    (
                        ?
                        ,?
                        ,?
                        ,?
                    )
            "
            ,parameters = [
                 { value = val( arguments.app_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.user_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.thing1_id ), cfsqltype = 'CF_SQL_INTEGER' }
                ,{ value = val( arguments.thing2_id ), cfsqltype = 'CF_SQL_INTEGER' }
            ]
        ).execute().getPrefix();

    return r;
}

所有这些方法都起作用并返回我期待的内容，所以如果我输错了我的摘要＆＃39;请考虑到这一点......我正在寻找输入的内存或CPU。

在Win 7上的CF 11更新5 - Core i7 4gig ram 最大输出缓冲区大小为2048 最小JVM堆大小512 MB最大JVM堆大小1024 MB

Answer 1

你在循环中做了太多工作。我会用这种方法。

在开始循环之前，请在数据库中创建临时表。它必须是暂时的，因为你必须承认同时活动的可能性。

在循环中，只需创建值并将它们插入临时表即可。虽然不理想，但使用ColdFusion插入1000条记录并不是世界末日。我成功地做得更糟。

循环完成后，使用sql执行重复记录和其他数据问题所需的操作。然后从临时数据库写入您的真实数据库表。

CF＆＃34; for＆＃34;循环吃内存/ cpu

1 个答案: