我的抓取数据没有进入json,csv它显示空白给我,但在cmd它即将到来

时间:2015-09-23 06:05:52

标签: python web-scraping scrapy

我键入以在json中导出数据

scrapy crawl mydata -o items.json

但是当我在notepad ++中打开items.json时,它显示空白给我

这是我的蜘蛛

from scrapy.spider import BaseSpider
from scrapy.selector import Selector
import re
class mymyweb(BaseSpider):
    name = "myweb"
    allowed_domains = ["myweb.in"]
    start_urls = ["myweb.in/?iPathId=84731"]

    def parse(self,response):
        hoteldata = response.selector.xpath("//*[@id='js_itemlist']")
        for hoteldata in hoteldata:
            title = hoteldata.xpath("//*[re:match(@id, '[0-9]+')]/span/text()").extract()
            print title

1 个答案:

答案 0 :(得分:0)

要导出项目(并且能够在运行scrapy crawl mydata -o items.json时获得结果),您必须按照docs中的说明在项目中定义项目。

定义项目后,您必须确保使用值returnyield项填充项目。如需参考,请查看文档here

完成此操作后,您将获得JSON文件中的元素。