我是Scrapy的新手,我需要抓一页,我在抓取页面时遇到了麻烦。
不填写页面上的任何字段,然后单击" PESQUISAR" (直接翻译:搜索)按钮,我需要抓下下面显示的所有页面。
看起来我的问题出现在页面javascript中..而且我从未使用过javascript。
from scrapy import Spider
from selenium import webdriver
from scrapy.selector import Selector
class CarfSpider(Spider):
name = 'carf'
allowed_domains = ['example.com']
def start_requests(self):
self.driver = webdriver.Chrome('/Users/Desktop/chromedriver')
self.driver.get('example.com')
sel = Selector(text=self.driver.page_source)
carf = sel.xpath('//*[@id="botaoPesquisarCarf"]')
我的主要困难是跟踪此页面。所以如果有人能帮助我,我很感激。
抱歉英语不好,希望你明白