Groovy GPars脚本

Question

GParsPool.withPool(numberPool) {

            connection.withBatch(10000) { stmt ->
                inputFile.eachParallel { data ->

                    //GParsPool.withPool() {
                        stmt.addBatch("DELETE FROM user WHERE number = ${data.toLong()} ")
                        println "IN"
                    //}
                }

                println "OUT"
                Long startTimee = System.currentTimeMillis()

                stmt.executeBatch()
                println "deleted Batch"

                Long endTime = System.currentTimeMillis()
                println "Time taken for each batch: " + ((endTime - startTimee) / 1000)

            }
        }

以上代码用于从数据库中删除数据。我首先从文件中获取数据，然后将每个文件数据与数据库数据进行匹配，并执行删除查询。但是我花了很多时间来记录5533179条记录。即使我已经使用了gpars，但我得到了相同的性能问题，而不使用gpars。我设置了numberPool=5但同样的问题。即使我再次增加numberPool同样的问题

Answer 1

为什么不使用SQL in运算符？因此，您可以更快地处理数据。

更新：

从头顶开始：

GParsPool.withPool(numberPool) {
    Map buffPerThread = [:].withDefaults{ [] }

    inputFile.eachParallel { data ->
      def buff = buffPerThread[ Thread.currentThread().id ]
      buff << data.toLong()
      if( 1000 == buff.size() ){
        sql.execute 'DELETE FROM user WHERE number in (?)', [ buff ]
        buff.clear()
      }
    }
 }

我不会在这里使用conn.withBatch，因为in语句已经提供了所需的批处理