使用大数据

时间:2014-04-02 10:51:06

标签: python sqlite bigdata

我有一个大约6000万行的文件。我正在尝试编写一个脚本,需要不断查询文件以查找名称列表的信息。文件中的每一行都包含一个名称,后跟相关信息。我试着建一本字典,但文件太大了 我搜索了很多论坛,并听到很多人建议使用SQlite for python-我在开始学习SQlite之前就想知道,有谁知道这对这个大小的文件有用吗? 感谢

1 个答案:

答案 0 :(得分:0)

您可以使用Linux Power工具。 Awk可以很容易地完成你的工作。

假设您的文件看起来像这样

name1 a b c

name2 e d r t

name3 x y

你想找到name2的信息。然后使用此命令,您可以找到

awk -F" " -v name=name2 '{if(name==$1){$1=""; print $0}}' filename

它将仅输出name2的信息,如此

e d r t

您可以传递多个名称并管理您的逻辑