我尝试从一个数据库中的连接3大表A,B,C
中加载大数据以供读取器使用,然后将结果集传递给writer并将它们写入另一个数据库(差异服务器中的2个数据库)时遇到问题)。
他们之间的关系:
A inner join B on A.a = B.b
B inner join C on B.d = C.c
我想分区表A并使用多个线程运行它们以提高性能。
但是表格A只有一个复合键(a,i,j)
并且没有任何标记字段,并且它们不是数字。
那么如何通过复合键对A进行分区? 我的实施方法是正确的吗?
Table A has 4m records.
Table B has 29m.
Table C has 3m.
注意:如果我没有分区表,我在使用整个数据运行时会得到错误的java堆空间。那么Spring Batch如何处理大数据?