spring批量远程分区远程步骤性能

Question

我们在POC中使用远程分区，我们处理大约2000万条记录。要处理此记录，slave需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从db中将这些元数据从db中加载一次并将其放入缓存中，以便subseuent调用只从缓存中获取此数据以获得更好的性能。

既然我们正在使用远程分区，我们的slave有大约20个MDP /线程，所以每个消息监听器首先调用从db获取元数据，所以基本上20个线程在每个远程机器上同时命中db。我们现在有2台机器，但会增长到4台。

我的问题是，有没有更好的方法来加载这个元数据，就像在作业开始之前一样，所有远程奴隶都可以访问？

或者我们可以在远程教学中使用步骤监听器吗？我不这么认为这是一个好主意，因为它将针对每个远程步骤执行执行，但需要专家的想法。

Answer 1

您可以将an EhCache server设置为单独的应用程序，或使用其他产品进行缓存，例如Hazelcast。如果您可以选择商业产品，Coherence也可以使用。