处理大型数据查询的最佳方式是什么?

时间:2017-11-10 22:20:03

标签: python python-3.x sqlite

经过一个月的学习和玩弄python并做了大量的练习和样本后,我仍然无法自己回答一个重要的问题。如果我生成数据,例如从xml加载或从抓取中加载数据。我如何与他们合作?现在我把每个entrie直接放入一个sqlite db。

例如: 我读了一个新闻源,我把id,title,description,link,tags放在我的sqlite db中的一行。我根据标题或说明中的关键字进行了一些分类。每个新闻条目都排成一行。之后,我可以逐行或立即阅读它们。

我可以过滤它们,对它们进行排序......但不知怎的,我觉得有更好的方法。把它们全部用字典放到一个大的列表中,并以某种方式使用这个列表。然后在我通过他们工作后对它们进行排序或者获得更多关于这些数据的信息。把它们放入sqlite db。但我的书或教程都没有谈论这个话题!?如果某个关键字多次出现或与其他关键字一起出现,我会尝试做一个新闻文章。将该页面的新闻与来自具有相同关键字的其他页面的新闻进行比较。

我想你会笑着说。他在谈论.....他怎么能不知道。但我是所有这一切的新手。 Sooorrry。

感谢您的帮助,指导我朝着正确的方向前进。

0 个答案:

没有答案