代码:源代码页面(产品) 我只想从网站上提取价格和图片网址。但似乎没有得到任何与图像和价格相关的东西。
我得到了两个不同的源代码之王。 如果我手动操作,我会得到this : PasteBin 如果我通过脚本运行,我会得到this : PasteBin
import urllib2
from bs4 import BeautifulSoup
url_list = [
"https://www.nfm.com/DetailsPage.aspx?productid=43382514"
]
def get_data(url):
user_agent = '"Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11"'
headers = {'User-Agent': user_agent}
page = urllib2.Request(url, None, headers)
page2 = urllib2.urlopen(page)
soup = BeautifulSoup(page2, 'html.parser')
print soup.prettify()
for i in url_list:
get_data(i)
任何人都可以解释我如何获得真实的源代码,以便我可以从网站获取图像链接和更多数据。