什么是操作数百万条记录并使用取消和暂停选项保存回数据库的最佳方法?

时间:2018-05-03 05:37:20

标签: django multithreading postgresql python-2.7

使用Django和python 2.7。我有一张包含数百万行的Excel表格。我必须操纵行数据并保存回数据库(postgresql)。我想有效地做到这一点。以下是我想到的方法:

  

1。)将队列中的所有行(数据)排入队列(最好是RabbitMQ),并一次取出一堆100个条目。并将执行和   将它保存在数据库中。

     

2.)考虑在后台使用线程,每个线程将管理100行,并将结果保存到数据库中。我不是   确定在这种情况下将打开多少个数据库连接。

您能否建议我实现这一目标的有效方法。这将非常有帮助。

如何在这种情况下实现取消和暂停逻辑?我应该使用数据库吗?

0 个答案:

没有答案