批量加载N批1 MB数据（高频率）或1批X MB数据（低频率）是否更好？
对我来说问题是解析和处理数据也需要时间，因此似乎并行解析，处理和保存巨大的数据集并不是最好的方法，因为它会导致高频批量插入。
相反，解析＆amp;处理应该累积到一大批X大小，然后发送该批次的（并行）批量插入？
这是对的吗？如果是这样，推荐的X大小是什么？
答案 0 :(得分：1)
批次的最佳大小取决于您的硬件，您正在进行的处理，现有数据的数量。只有你可以告诉。
智能算法会尝试插入少量批量N并测量性能，然后是少量批量2*N，然后是少量批量4*N等等，直到性能开始下降并自动确定最佳批量大小。
随着数据库的增长，批处理的最佳大小也会发生变化，因此算法应该随着时间的推移自行调整。
如果是一次性任务，请手动进行少量不同批量测试。