如何在python Beautifulsoup中抓取Amazon网站

时间:2019-12-01 20:18:11

标签: python beautifulsoup amazon

我知道有很多与此类似的问题和答案。尽管他们很多,但我遇到了这个问题,我真的希望得到您的帮助。

我从here处获取了代码,并在几个小时前对这段代码感到满意。
但是现在它突然不起作用了。我真的想知道为什么会发生此问题。 我试图使用python Beautifulsoup模块从具有特定URL的Amazon网站上抓取产品。

我的代码如下:

import requests
from bs4 import BeautifulSoup


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}
page_content = requests.get('https://www.amazon.de/xxx', headers=headers)
soup = BeautifulSoup(page_content.content, 'html.parser')
print(soup)

我认为这是引起请求标头的User-agent属性的原因。 但是现在我遇到了麻烦,那就是它不能很好地工作。 我需要你的帮助。 如果您知道解决方案,请友好回答我的问题。 谢谢。 :)

0 个答案:

没有答案