将webscraped python数据提取到SQLite，excel或xml？

Question

我是Python和webscraping的新手，但我目前正处于需要将数据提取到数据库的地步。有人可以通过使用sqlite，excel或xml告诉我利弊吗？

我已经读过sqlite应该是最快的，所以我可能会选择那个数据库结构，但有人可以告诉我你从python中提取sqlite数据后用什么IDE处理sqlite数据？

编辑：我希望我的帖子有道理。我目前正在尝试使用此处的网络抓取工具：https://github.com/gingeleski/odds-portal-scraper

提前致谢。

Answer 1

当你说IDE时，我假设你正在寻找一种查看SQLite数据的方法？如果是这样，DBeaver是一个免费的开源SQL客户端。您可以使用它来轻松查看数据。

Answer 2

从短期来看，Excel是检查数据和原型分析以及可视化的好方法。对于非常大的数据集或多个类似的数据集，它会变得陈旧。基本上，只要你开始做同样的事情超过两次或编写VB代码，你应该切换到pandas / matplotlib解决方案。

您使用的刮刀看起来已将结果放入SQLITE数据库，但如果您将数据放在列表或字典中，我建议您使用pandas进行计算并{{3}对于可视化，因为这将为您提供长期可靠，可扩展的解决方案。 SQLITE数据库和pandas之间的matplotlib和read数据非常容易。

查看数据库中数据的好方法是必须的。我目前正在使用write。