使用Scrapy Spider写入csv文件时出现问题

时间:2019-01-10 09:30:22

标签: python-3.x scrapy

我写了一个简单的蜘蛛程序,尝试将数据写入csv文件时出现错误。我得到的错误错误:Spider必须返回Request,BaseItem,dict或None,得到了'str' 当我尝试打印结果时,一切似乎都很好,只是我不知道如何将其写入csv。我使用了抓痒的抓取mmadness -o file.csv,但除了该错误之外,没有任何其他事情发生。 CSV文件已创建,但为空。 问题是我不太确定我该如何处理上一条语句或如何正确返回“ table_rows”。 谢谢

# -*- coding: utf-8 -*-
import scrapy


class MmadnessSpider(scrapy.Spider):
    name = 'mmadness'
    allowed_domains = ['ncaa.com/standings/basketball-men/d1']
    start_urls = ['http://ncaa.com/standings/basketball-men/d1/']

    def parse(self, response):
        rows = response.css('tbody tr')
        for row in rows:
            table_rows = row.css('td::text').extract()
            print(table_rows)

1 个答案:

答案 0 :(得分:0)

print(table_rows)

您在打印数据时应该使用:

yield(table_rows)