从craigslist,rent.com,apartments.com采购信息

时间:2011-10-03 10:20:34

标签: api screen-scraping web-scraping craigslist

我需要从craigslist,rent.com,apartments.com这样的网站上获取房地产信息。我已经看到有很多像http://www.padmapper.com这样的网站已经在这样做了。

我的问题是如何做到这一点?我无法找到我可以使用的这些网站的API。我的下一个选择是进行网页抓取。这合法吗?或者他们观看的特定IP的最大匹配数是否有任何限制?

还有其他更好的选择吗?

3 个答案:

答案 0 :(得分:2)

craigslist有一个可以用yql查询的开放数据表。另外2个不是AFAIK--刮掉它们并不违法,但是你应该礼貌而不是用它来打硬/快。

答案 1 :(得分:2)

我刚为apartments.com做了一个刮刀。我认为它运作良好(现在,直到他们决定改变它)。

随意分叉/编辑:https://github.com/adinutzyc21/apartments-scraper

答案 2 :(得分:1)

您可能需要查看3taps。他们有developer API点击Craigslist和apartments.com