Question

我是Python和Scrapy的新手。现在我正在抓取，并且需要同时使用它们。以下是我的代码，无法检索到任何输出。我可以知道如何解决这个问题吗？提前致谢。

 import scrapy
 from loginform import fill_login_form


 class FirstSpider(scrapy.Spider):

    name = 'test'

    login_url = 'URL'
    login_user = 'account'
    login_password = 'password'

    def start_requests(self):
        print('Step 1')
        return scrapy.Request(self.login_url, callback=self.parse_login)

    def parse_login(self, response):
        print('Step 2')
        data, url, method = fill_login_form(response.url, response.body,
                                            self.login_user, self.login_password)

        return scrapy.FormRequest(url, formdata=dict(data),
                           method=method, callback=self.start_crawl)

    def start_crawl(self, response):
        list = response.xpath("//a[@class='menu_section active']/text()").extract()
        print(list)
        if 'back overview' in list:
            print('Good to go')
        else:
            print("Failed")

输出：进程结束，退出代码为0

Answer 1

我建议使用scrapy shell调试程序。尝试从shell访问响应，看看是否能够获取元素。

我的第一个Python Scrapy无法正常工作

1 个答案: