如何将CSV文件编入索引以进行有效搜索?

时间:2016-03-02 22:43:37

标签: python csv search dictionary search-engine

我有一个包含超过400k行和大约20列的CSV文件,因此当我查找某个值时,我需要花费太多时间来搜索CSV。我想知道如何映射文件,以便我可以有效和快速地搜索它以获得特定值。

提前谢谢!我很乐意回答任何问题!

3 个答案:

答案 0 :(得分:3)

pandas.read_csv功能使其变得相当容易。 Python也有csv reading/writing functions

更新:来自pandas创建者的a link to a post来自pandas的快速搜索。

答案 1 :(得分:2)

如果我正在做这样的事情,我会将cvs文件加载到SQLite数据库文件中,然后使用SQLite的python绑定来搜索数据。 SQLite是免费且广泛使用的,因此您可以轻松找到支持,代码片段等。这种方法确实需要一些基本的数据库概念,主要是简单的SQL语句。

答案 2 :(得分:1)

假设您可以将整个内容存储在RAM中(即加载它),我会使用pandas。

{{1}}

等。 This is a great tutorial and this