使用Beautiful soup解析时保存到SQLite中

时间:2017-02-07 09:07:37

标签: python sqlite beautifulsoup

我正在抓取房地产数据,这非常有效。但是,我在存储数据方面存在一些问题/不确定性。我不想在这里上传我的所有代码 - 我希望这很好。基本上,我的方法如下:

在第一步中,我使用 sqlite3 包创建了一个sql-databse。

实际抓取具有以下形式:

for zip_code in list_zip_codes:
   conn = sqlite3.connect('some_name.db')
   if zip_code_di == zip_code:
      ...
      scraping
      ...
   conn.execute('''INSERT INTO...
   else:
      conn.commit()
      conn.close()

对于我要拉的每个对象,我都会得到一个邮政编码,在这里名为zip_code_di。我想做的是在邮政编码改变后立即提交数据(这就是我使用if-else条件的原因)。这种方法对你有意义吗?是否有更好/更常用的方法来确保存储所有数据?

0 个答案:

没有答案