Python-Scrapy抓取网络

时间:2018-08-14 10:28:25

标签: python loops scrapy

这是我的项目/蜘蛛,工作正常。...

    # -*- coding: utf-8 -*-
import scrapy
import time

class SccbotakiSpider(scrapy.Spider):
    name = 'SccBotaki'
    start_urls = ['url']
    time.sleep(1)

    def parse(self, response):
        daten = response.css('#daten').extract()
        cartext = response.css('div.car_header > b::text').extract()
        spacerimg = response.css('div.rechts > img::attr(src)').extract()
        inhalt = response.css('div.inhalt')
        prodname = inhalt.css('div.prod-name::text').extract()
        artnr = inhalt.css('div.art-nr > span::text').extract()
        avaible = inhalt.css('div.ampel > img::attr(src)').extract()
        price = inhalt.css('div.preis::text').extract()


        for item in zip(prodname,artnr,avaible,price):
            scraped_info = {
            'prodname' : item[0] ,
            'artnr' : item[1] ,
            'avaible' : item[2] ,
            'price' : item[3] ,
        }
            yield scraped_info

检出图片中的网址,因为我不能在这篇文章中使用微小的网址 URL Image
但我想刮擦daten,cartext,spacerimg以及即时消息,我会得到不同的/不好的结果     顺便说一句,在settings.py中,我确实想将其导出到csv文件中:

    #Export as CSV Feed
    FEED_FORMAT = "csv"
    FEED_URI = "UltraRacing.csv"

所以,我的问题是为什么我在添加“ daten,cartext,spacerimg”时无法刮擦我的图像? 如果我确实将所有这些信息都刮到了一起,我将在1个单元格中将所有信息放入csv中,如果生病了,请从循环中删除“ daten,cartext,spacerimg”,生病了。 / p>

希望这很有道理...

1 个答案:

答案 0 :(得分:0)

您正在尝试zip大小不同的列表:prodnameartnravaibleprice有41个元素,但datencartext只有1个元素,而spacerimg是9个元素。