Question

我有~30个列表，一些词典，其中大多数至少包含200个项目，整数和字符串。

使用selenium和漂亮的汤来解析数据来解析html，然后将其分成名称/值列表，站点刷新和重复过程。

当发生这种情况时，我执行的功能是将这些名称/值处理成平均值，随时间变化的速率，然后将这些与先前结果进行比较。

目前它只是存储在我的python脚本中的内存中。我已经看过使用csv文件存储和检索数据，或sqlite数据库/甚至在内存中使用sqlite数据库，但不知道这些选项的速度/速度有多快/慢。

非常感谢任何建议！

Answer 1

您说您的数据主要是Lists和Dicts，那么我的选择就是使用JSON。

JSON非常适合key-value对，它最初是为此目的而制作的。

使用json模块可以很容易地对JSON进行序列化或解码。

序列化JSON的示例

>>> import json
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]')
['foo', {'bar': ['baz', None, 1.0, 2]}]

将list和dict编码为JSON

的示例

>>> import json
>>> json.dumps([1,2,3,{'4': 5, '6': 7}], separators=(',', ':'))
'[1,2,3,{"4":5,"6":7}]'

更多文档可在以下网址获得：