标签： python database algorithm sqlite
我有一个包含一百万行的csv文件。我想使用python的sqlite库将其转换为sql样式数据库。该表必须具有某些列作为主键，但是该列包含一些重复项，因此我需要删除具有重复项的列。现在，我建立了一个集合，并每次都占用O（n）和O（n）空间进行查找，那么从时间和空间复杂度方面，还有没有更有效的方法可以从数百万个条目中找到重复的列？