由于JS,Python并没有获取信息

时间:2016-09-08 13:46:07

标签: javascript python-3.x

下面是一些我很困惑的代码。我已经成功获得了来自其他网站的网络抓取信息,但是这个我无法理解。我相信我遗失了一些东西,可能是JS。

我的结束代码将采用mainurl和theurl(这是一个链接)并将它们添加到一起。但是,我甚至可以显示出来。当我通过检查方面时,我可以看到我需要的东西,但在页面源中它不存在。我在JS的代码中遗漏了什么?

import requests
from bs4 import BeautifulSoup
import csv

b = open('csv/homedepot.csv', 'w', newline='')
a = csv.writer(b,delimiter=',')

mainurl = "http://www.homedepot.ca" ## Main website
theurl = "https://www.homedepot.ca/en/home/categories/appliances/refrigerators-and-freezers.html" ##Target website
r = requests.get(theurl)
soup = BeautifulSoup(r.content, "lxml")

for link in soup.findAll('a'):
    print (link.get('href'))

0 个答案:

没有答案