如何使用Selenium with Scrapy来抓取ajax页面

时间:2018-05-09 18:11:08

标签: python-3.x selenium scrapy selenium-chromedriver

我是Scrapy的新手,我需要抓一页,我在抓取页面时遇到了麻烦。

不填写页面上的任何字段,然后单击" PESQUISAR" (直接翻译:搜索)按钮,我需要抓下下面显示的所有页面。

看起来我的问题出现在页面javascript中..而且我从未使用过javascript。

from scrapy import Spider
from selenium import webdriver
from scrapy.selector import Selector

class CarfSpider(Spider):
    name = 'carf'
    allowed_domains = ['example.com']

    def start_requests(self):
        self.driver = webdriver.Chrome('/Users/Desktop/chromedriver')
        self.driver.get('example.com')
        sel = Selector(text=self.driver.page_source)
        carf = sel.xpath('//*[@id="botaoPesquisarCarf"]')

我的主要困难是跟踪此页面。所以如果有人能帮助我,我很感激。

抱歉英语不好,希望你明白

0 个答案:

没有答案