我正在使用python读取Unicode数据,然后对其进行预处理并将其存储在数据库中(Postgres)
现在数据库有3个表,每个表包含4个属性和700,000个元组。我读取数据并根据我需要使用它的方式将其映射到python字典和列表。
现在我必须遍历所有这些元组,进行一些计算并再次在数据库中写入。
我必须像这样进行1000次迭代。问题是1次迭代需要大约50分钟,这使得无法进行那么多次迭代。
无论如何我可以更快地完成这些迭代吗?
欢迎任何新想法。在python中没有必要。
答案 0 :(得分:0)
你不会说每次更新和#34;迭代"执行,但显然你正在阅读和写700万行。是否可以使用数据库来执行更新?