Question

我正在尝试访问网页并返回该页面上的所有超链接。我在回答here的问题中使用相同的代码。

我希望访问此correct page，但它只返回此incorrect page的内容。

以下是我正在运行的代码：

import httplib2
from bs4 import SoupStrainer, BeautifulSoup

http = httplib2.Http()
status, response = http.request('https://www.iparkit.com/Minneapolis')

for link in BeautifulSoup(response, 'html.parser', parseOnlyThese=SoupStrainer('a')):
    if link.has_attr('href'):
        print (link['href'])

结果：

/account
/monthlyAccount
/myproducts
/search
/
{{Market}}/search?expressSearch=true&timezone={{timezone}}
{{Market}}/search?expressSearch=false&timezone={{timezone}}
{{Market}}/events
monthly?timezone={{timezone}}
/login?next={{ getNextLocation(browserLocation) }}
/account
/monthlyAccount
/myproducts
find
parking-app
iparkit-express
https://interpark.custhelp.com
contact
/
/parking-app
find
https://interpark.custhelp.com
/monthly
/iparkit-express
/partners
/privacy
/terms
/contact
/events

我不介意返回上面的结果，但它不会返回任何可以让我到达我想要的页面的链接。也许它受到保护？任何想法或建议，请提前感谢。

Answer 1

您尝试抓取的页面是完整的JavaScript生成。

在这种情况下，http.request('https://www.iparkit.com/Minneapolis')几乎不提供任何内容。

相反，你必须做一个真正的浏览器做的事情 - 处理JavaScript，然后尝试抓取已处理的内容。为此，您可以尝试Selenium。

对于page，运行JavaScript后，您将获得~84个网址，而在不运行JavaScript的情况下进行搜索，您将获得~7个网址。

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome('PATH_TO_CHROME_WEBDRIVER', chrome_options=chrome_options)
driver.get('https://www.iparkit.com/Minneapolis')

content = driver.page_source

然后在您的案例中使用BeautifulSoup从内容中提取您想要的内容。

BeautifulSoup - Cant的访问网页

1 个答案: