Question

我需要在休眠状态下使用spring数据接收并保存大量数据。我们的服务器分配的RAM不足，无法同时保留所有实体。我们肯定会收到OutOfMemory错误。

显而易见，我们需要分批保存数据。同样，我们还需要使用@Transactional来确保所有数据持久化或非持久化，即使出现单个错误也是如此。

因此，问题是：@Transactional方法期间的spring数据是否将实体存储在RAM中或被刷新的实体可被垃圾收集器访问？

那么，用spring数据处理大量数据的最佳方法是什么？春季数据可能不是解决此类问题的正确方法。

Answer 1

在@Transactional方法期间，spring数据是否将实体存储在 RAM或已刷新的实体可以访问垃圾收藏家？

实体将继续存储在RAM中（即entityManager中），直到事务提交/回滚或entityManager被清除。这意味着只有在事务提交/回滚或 entityManager.clear()被调用。

那么，用以下方法处理大量数据的最佳方法是什么？春季数据？

防止OOM的一般策略是逐批加载和处理数据。在每个批次的末尾，您应该刷新并清除entityManager，以便entityManager可以释放其用于CG的受管实体。常规代码流应如下所示：

@Component
public class BatchProcessor {

    //Spring will ensure this entityManager is the same as the one that start transaction due to  @Transactional
    @PersistenceContext
    private EntityManager em;

    @Autowired
    private FooRepository fooRepository;

    @Transactional
    public void startProcess(){

        processBatch(1,100);
        processBatch(101,200);
        processBatch(201,300);
        //blablabla

    }

    private void processBatch(int fromFooId , int toFooId){
        List<Foo> foos =  fooRepository.findFooIdBetween(fromFooId, toFooId);
        for(Foo foo :foos){
            //process a foo
        }

        /*****************************
        The reason to flush is send the update SQL to DB . 
        Otherwise ,the update will lost if we clear the entity manager 
        afterward.
        ******************************/
        em.flush();
        em.clear();
    }
}

请注意，此做法仅用于防止OOM，而不能用于实现高性能。因此，如果您不关心性能，则可以安全地使用此策略。

Spring数据如何通过事务方法清除固定的实体？

1 个答案: