Question

我是scrapy的新手，我试图从网站上获取一个列出名称的简单csv文件。在scrapy shell中，它似乎可以工作，但使用蜘蛛没有响应。

我正在使用此代码：

import scrapy

class EridaniSpider(scrapy.Spider):
name = "jupiter"

start_urls = ["http://www.example.com"]

def parse(self, response):
    for mike in response.css("div.openRounds-block-startupName"):
       yield {"startupname" : mike.css("h2::text")}

请帮忙！

Answer 1

想出来。这是代码：

import scrapy


class QuotesSpider(scrapy.Spider):
name = "jupiter"
start_urls = [
    'http://www.leapfunder.com',
]

def parse(self, response):
    for startup in response.xpath("//*[contains(@class, 'startupName')]"):
        yield { 
                'title' : startup.xpath("//h2/text()").extract(),
        }

无法使用Scrapy获得响应

1 个答案: