Question

我正在尝试使用urllib + bs4来抓取naturebox的网站。

我想创建一个投票网络应用程序，这样我的办公室就可以每个月从naturebox投票购买新的零食。

理想情况下，我喜欢从naturebox网站上随意更换零食。

这是我的代码：

 import urllib2,cookielib

site = 'http://www.naturebox.com/browse/'
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}

req = urllib2.Request(site, headers=hdr)

try:
    page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.fp.read()

content = page.read()
print content

但输出只是javascript而没有实际零食的数据（图片，名称，描述等）

显然我是菜鸟 - 我怎样才能获得这些数据？

Answer 1

您可以使用Selenium Webdriver。这将允许您加载网站，包括javascript / ajax，并从那里访问HTML。另外，尝试使用PhantomJS，以便它可以在后台无形地运行。

如何使用Python urllib＆amp; amp; s刮取ajax网站产品？ BS4？

1 个答案: