我的目标:我希望获得指定网站上的所有链接。
我的问题:如果网站打开并且一段时间后没有其他内容显示,则以下方法可以正常运行。
import lxml.html, urllib
connection = urllib.urlopen('http://www.youtube-mp3.org/?c#v=l8F4vdF-bJc')
dom = lxml.html.fromstring(connection.read())
for link in dom.xpath('//a/@href'):
print(link)
不幸的是,上面的代码无法从一段时间后显示的网站内容中获取链接。 (例如,此站点:http://www.youtube-mp3.org/get?video_id=KMU0tzLwhbE在转换完成后提供了文件的链接,并且上述方法无法捕获此链接)
我的问题:如何在一些时间之后获取显示在网站上的Python链接?