为房地产网站构建全面的抓取程序/数据库

Question

我有一个项目正在探索，要在哪个国家/地区抓取房地产经纪人网站（列表中的30-40个网站），并将有关每个物业的信息保存在数据库中。

我已经尝试了使用BeautifulSoup和Scrapy在python中进行抓取。

理想情况下，我希望实现的是每天更新的数据库，该数据库将查找新属性并在出售时删除属性。

关于如何实现这一目标的任何指针？ 我对编程比较陌生，如果python不适合，我可以学习不同的语言和资源。

很抱歉，如果该论坛不是针对此类含糊的问题：-）

Answer 1

制造刮板并安排每天运行。您可以使用scrapy，并且每日运行将每天更新数据库。