urllib2 python 2.7不同的源代码

时间:2016-02-05 11:39:09

标签: python python-2.7 urllib2

代码:源代码页面(产品) 我只想从网站上提取价格和图片网址。但似乎没有得到任何与图像和价格相关的东西。

我得到了两个不同的源代码之王。 如果我手动操作,我会得到this : PasteBin 如果我通过脚本运行,我会得到this : PasteBin

import urllib2
from bs4 import BeautifulSoup

url_list = [
    "https://www.nfm.com/DetailsPage.aspx?productid=43382514"
]


def get_data(url):
    user_agent = '"Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11"'
    headers = {'User-Agent': user_agent}
    page = urllib2.Request(url, None, headers)
    page2 = urllib2.urlopen(page)
    soup = BeautifulSoup(page2, 'html.parser')
    print soup.prettify()


for i in url_list:
    get_data(i)

任何人都可以解释我如何获得真实的源代码,以便我可以从网站获取图像链接和更多数据。

0 个答案:

没有答案