我正在抓取房地产数据,这非常有效。但是,我在存储数据方面存在一些问题/不确定性。我不想在这里上传我的所有代码 - 我希望这很好。基本上,我的方法如下:
在第一步中,我使用 sqlite3 包创建了一个sql-databse。
实际抓取具有以下形式:
for zip_code in list_zip_codes:
conn = sqlite3.connect('some_name.db')
if zip_code_di == zip_code:
...
scraping
...
conn.execute('''INSERT INTO...
else:
conn.commit()
conn.close()
对于我要拉的每个对象,我都会得到一个邮政编码,在这里名为zip_code_di。我想做的是在邮政编码改变后立即提交数据(这就是我使用if-else条件的原因)。这种方法对你有意义吗?是否有更好/更常用的方法来确保存储所有数据?