Question

尝试

提取此网页上产品的href链接。该代码提取页面上列出的产品以外的所有href内容。

[Function: TestWrapper]

Answer 1

产品通过rest API动态加载，URL为： https://international.neb.com/coveo/rest/v2/?sitecoreItemUri=sitecore%3A%2F%2Fweb%2F%7BA1D9D237-B272-4C5E-A23F-EC954EB71A26%7D%3Flang%3Den%26ver%3D1&siteName=nebinternational

加载此响应将获取URL。

下次，请检查您的网络检查器，以确定网页的任何部分是否没有动态加载（或使用硒）。

Answer 2

尝试验证收到的回复中是否包含产品href。我之所以告诉您这样做是因为，例如，如果产品的一部分是由ajax动态生成的，那么在主页上进行简单的获取就不会带来它们。

打印响应并验证是否在html中接收到产品

Answer 3

我想你想要这样的东西。

from bs4 import BeautifulSoup
import urllib.request

for numb in ('1', '100'):
    resp = urllib.request.urlopen("https://www.neb.com/search#first=" + numb + "&t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending")
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

    for link in soup.find_all('a', href=True):
        print(link['href'])

如果有其他问题，请发回。我会尽力帮助您。我不是Python的超级专家……

使用python拉href标签

3 个答案: