Question

我有一个查询，在最坏的情况下会创建超过150K的实体。可能上限为300,000k实体。我已经尝试了几种方法将这组数据返回给用户...我只使用sql Developer运行查询，它运行大约.348秒。所以这不是任何一种瓶颈。

我创建了一个嵌套查询，如此......

List<Object[]> ObjList = (List<Object[]>) emf.createNativeQuery(assembleNestedQuery(query2)).getResultList();

原生查询就这样组装......

String query2 = assembleQuery(organizationIDs, 2);

else if (type == 4){ 
    queryBuilder.append("SELECT t0.RESOURCE_ID, t0.FIRST_NAME,  t0.MIDDLE_NAME, t0.LAST_NAME FROM EPCD13.Provider t0");
    if(typeArgs.length > 0){ 
        queryBuilder.append("  WHERE t0.RESOURCE_ID IN (");             
        for(int i = 0 ; i <= typeArgs.length - 1; i++){
        if(i != typeArgs.length -1)
            queryBuilder.append(typeArgs[i] +", ");
        else
            queryBuilder.append(typeArgs[i] +" ");
        if((i % 1000 == 0) && (i != 0)){
            queryBuilder.append(") OR IN (");
        }
    }
    queryBuilder.append(")");               
            }
    }

private String assembleNestedQuery(String typeArgs2){
        StringBuilder queryBuilder = new StringBuilder();
        queryBuilder.append("SELECT t0.RESOURCE_ID, t0.FIRST_NAME,  t0.MIDDLE_NAME, t0.LAST_NAME FROM EPCD13.Provider t0");
        queryBuilder.append("  WHERE t0.RESOURCE_ID IN (");
        queryBuilder.append(typeArgs2);
        queryBuilder.append(")");
        return queryBuilder.toString();
    }

上面的代码基本上组装了这个查询...

SELECT t0.RESOURCE_ID, t0.FIRST_NAME,  t0.MIDDLE_NAME, t0.LAST_NAME FROM EPCD13.Provider t0  WHERE t0.RESOURCE_ID IN (SELECT DISTINCT d.RESOURCE_ID FROM EPCD13.RESOURCES d WHERE d.ORGANIZATION_ID in (...))

所以嵌套查询基本上是动态创建的...... 我运行的查询返回了大约155K条记录。现在我基本上运行以下代码将结果转换为Provider对象......

List<Provider> provList = new ArrayList<Provider>(); 
for(Object[] obj: ObjList)
{
    provList.add(this.GetProviderFromObj(obj));
}

这就是发生异常的地方。这是一个太大的JPA数据集来处理吗？我可以通过一些简单的Java JDBC连接和一些基本的Java对象来实现这一点。但这组数据是否可以使用？

感谢。

更新：异常我正在

java.lang.OutOfMemoryError: caused by: java.lang.OutOfMemoryError

Answer 1

听起来您正在尝试使用对您的JVM来说太大的数据集。您可以将较少数量的对象拉入内存，也可以增加最大堆。

我还建议查看Large Result Sets。

从openJPA查询创建155000个实体

1 个答案: