Python从搜索结果中抓取数据

时间:2020-06-02 11:18:09

标签: python algorithm web-scraping beautifulsoup scrapy

我想从搜索结果中抓取数据。 这是搜索结果。

https://www.realtor.ca/map#ZoomLevel=12&Center=49.257645%2C-123.123580&LatitudeMax=49.34328&LongitudeMax=-122.84875&LatitudeMin=49.17186&LongitudeMin=-123.39841&view=list&Sort=1-A&PGeoIds=g30_c2b2nw3h&GeoName=Vancouver%2C%20BC&PropertyTypeGroupID=1&PropertySearchTypeId=1&TransactionTypeId=2&Currency=CAD

但是我需要的数据(图片,税费,描述)不在结果中,因此我必须访问每个链接以获得该数据。

我不确定实现此目标的最佳方法是什么,所以我创建了2个机器人,第一个机器人从所有属性中抓取了所有链接并将其保存在数据库中,第二个机器人访问了数据库中保存的每个链接并抓取我需要的所有数据。

是否有更好,更有效的方法?我在github上找不到任何可以用作模板的内容。

0 个答案:

没有答案