如何在每个页面中获取所有应用程序链接？

Question

我有这段代码：

import urllib
from bs4 import BeautifulSoup

url = "http://www.padtube.com/Audio-Files-Player/30-01-1-2.html"
pageurl = urllib.urlopen(url)
soup = BeautifulSoup(pageurl)

for b in soup.select("table#dl-tbl-list th a[href]"):
    print b['href']

当我运行此代码时，它只在第一页上给我链接。 我无法在下一页获得应用程序链接。

Answer 1

该网站正在使用post转到下一页，因此您需要的是通过帖子发送页码。

我是通过http://www.python-requests.org/

完成的

import urllib
from bs4 import BeautifulSoup

import requests

url = "http://www.padtube.com/Audio-Files-Player/30-01-1-2.html"
#pageurl = urllib.urlopen(url)

pageurl = requests.post(url, data = {
    'page': 2
})


pageurl = pageurl.text

soup = BeautifulSoup(pageurl)

for b in soup.select("table#dl-tbl-list th a[href]"):
    print b['href']