Question

我有一个csv文件，其中包含300部电影的imdb movieID。每个电影的imdb电影URL的格式为：https://www.imdb.com/title/ttmovieID

我想抓取每部电影的专用站点以获取缩略图链接，标题，演员和发行年份，并将其写入csv文件，其中每一行将包含每部电影的数据，

由于我在csv文件中具有每个电影的movieID，因此Spider的start_urls应该是什么，解析函数的结构应该是什么？另外，如何将其写入csv文件？

对于imdb的前250页，我有以下方法。我应该在start_urls和链接中进行哪些更改？

import scrapy
import csv
from example.items import MovieItem

class ImdbSpider(scrapy.Spider):
name = "imdbtestspider"
allowed_domains = ["imdb.com"]
start_urls = ['http://www.imdb.com/chart/top',]

def parse(self,response):
     links=response.xpath('//tbody[@class="lister-list"]/tr/td[@class="titleColumn"]/a/@href').extract()
     i=1
     for link in links:
         abs_url=response.urljoin(link)
         url_next='//*[@id="main"]/div/span/div/div/div[2]/table/tbody/tr['+str(i)+']/td[3]/strong/text()'
         rating=response.xpath(url_next).extract()
         if(i <= len(links)):
             i=i+1
         yield scrapy.Request(abs_url, callback=self.parse_indetail, meta={'rating' : rating })

def parse_indetail(self,response):
    item = MovieItem()
    item['title'] = response.xpath('//div[@class="title_wrapper"]/h1/text()').extract()[0][:-1]
    item['director'] = response.xpath('//div[@class="credit_summary_item"]/span[@itemprop="director"]/a/span/text()').extract()

    return item

Answer 1

您只需在.csv函数中读取start_requests文件，并从那里产生请求。代码可能类似于：

import csv
from scrapy import Request
...
def start_requests(self):
    with open('imdb_ids.csv') as csv_file:
        ids = csv.reader(csv_file, delimiter=',')
        line = 0
        for id in ids:
            if line > 0:
                yield Request('https://www.imdb.com/title/ttmovie' + id)
            line+=1

使用Scrapy抓取imdb中的每个电影站点

1 个答案: