优化的跨数据库传输

时间:2018-10-01 14:09:58

标签: java sql-server oracle jdbc

是否存在使用Java将数据从一个数据库传输到另一个数据库的一种首选方法,从而不会耗尽内存?

有用于字符流的缓冲读取器,所以我的问题是是否已经有一些缓冲读取器用于数据库读取和缓冲写入器用于写入? 为了不耗尽内存,我们要​​么必须读取一个块然后以相同的速度写入另一个数据库,要么我们可以有一个缓冲区来读取一个数据库,而写入器(可能较慢)会消耗来自阅读器缓冲区。

使用缓冲区,读取器可以在将完整的块写入另一个库之前开始读取,即始终填充堆栈(限制了内存,但为不同的速度提供了一定的灵活性)。

已经有一些图书馆了吗?

如果没有,到目前为止,我的想法是从一个数据库中读取数据并将其放入例如一个堆栈,并让编写者从堆栈中写入所有内容。读取的所有内容都写入(传输)之后,该作业将被提交。 当然,这取决于查询或数据,但是如果有合适的键来拆分工作,则该框架甚至可以并行启动多个读取器和写入器。 (像是火花分区列)

0 个答案:

没有答案