从网站上的在线数据库中抓取数据

时间:2014-11-19 23:00:18

标签: web-crawler search-engine

我想从在线数据库中提取数据: http://www.allmusic.com/advanced-search

在左侧,有一个“发布数据”部分,我可以在其中指定音乐的开始和结束日期。无论我选择哪个日期,网址“http://www.allmusic.com/advanced-search”都不会发生任何变化。

我想写一个小爬虫,从URL“http://www.allmusic.com/advanced-search”开始,并在我选择过滤日期后获取所有数据,即“2010-2014”。如何将日期部分与默认URL相关联,以便程序可以从第一页开始并按照所有链接获取该数据范围内的所有数据?

仅凭网址http://www.allmusic.com/advanced-search不起作用,因为它没有为我提供抓取的起始页。

感谢。

0 个答案:

没有答案