如何在scrapy中创建一个webcrawler来获取.mp3链接

Question

我想制作一个可以从网站上获取.mp3链接的webcrawler。但是，示例网站http://raagtune.net/中的内容是动态的。在此网站中，内容来自“http://raag.me//music/data/ ..某些随机.mp3”我们如何抓取整个网站并在python中使用scrapy获取所有MP3链接？或者有其他方法吗？

Answer 1

您可以使用beautifulsoup python包。

import httplib2 from BeautifulSoup import BeautifulSoup, SoupStrainer http = httplib2.Http() status, response = http.request('http://www.nytimes.com') for link in BeautifulSoup(response, parseOnlyThese=SoupStrainer('a')): if link.has_attr('href'): print link['href']

只需检查该网址中该网址是否为.mp3。如果是，请将其存储在列表中，否则继续。

希望这有帮助！