我正在使用Pentaho数据集成工具迁移数据库
Pentaho data integration
version: 7.0
Build date: Nov 5 2016
我已将数据迁移到了 从ms sql server到mysql的25mb数据 我只是想知道使用Pentaho可以移植的最大值是多少 当我得到内存超出约束错误
答案 0 :(得分：3)
PDI使用流式传输模型，其中仅在下一步骤的缓冲区允许时输入新记录，因此对于大多数操作没有限制。我经常传输许多GB的数据而没有问题。
逻辑上有一些步骤需要将所有行读入内存，但是您正在进行比迁移更高级的转换。
在单次运行中执行非常大的传输时可能遇到的一件事是空闲超时。例如，如果目标MySQL因写入而过载，则PDI可能需要等待很长时间才能从MS SQL请求下一个10,000行，并且MS SQL或其间的防火墙会重置连接。您可以先写入临时文件（非常快）然后使用批量加载程序步骤从文件加载到MySQL来解决这个问题。