使用Django和python 2.7。我有一张包含数百万行的Excel表格。我必须操纵行数据并保存回数据库(postgresql)。我想有效地做到这一点。以下是我想到的方法:
1。)将队列中的所有行(数据)排入队列(最好是RabbitMQ),并一次取出一堆100个条目。并将执行和 将它保存在数据库中。
2.)考虑在后台使用线程,每个线程将管理100行,并将结果保存到数据库中。我不是 确定在这种情况下将打开多少个数据库连接。
您能否建议我实现这一目标的有效方法。这将非常有帮助。
如何在这种情况下实现取消和暂停逻辑?我应该使用数据库吗?