Question

我试图用Scrapy抓取电影列表（我只使用导演和电影标题字段）。有时，有两位导演和Scrapy将他们视为不同。因此，第一位导演将是电影片名，但第二位将没有电影片名。

所以我创建了这样一个条件：

if director2:
            item['director'] = map(unicode.strip,titres.xpath("tbody/tr/td/div/div[2]/div[3]/div[2]/div/h2/div/a/text()").extract())

最后一个div [2]只有在有两个导演时才存在。

我想这样连接：director1，director2

这是我的完整代码：

class movies(scrapy.Spider):
name ="movielist"
allowed_domains = ["domain.com"]
start_urls = ["http://www.domain.com/list"]

def parse(self, response):
    for titles in response.xpath('//*[contains(concat(" ", normalize-space(@class), " "), " grid")]'):
        item = MovieItem()
        director2 = Selector(text=html_content).xpath("h2/div[2]/a/text()")
        if director2:
            item['director'] = map(unicode.strip,titres.xpath,string-join("h2//concat(div[1]/a/text(), ".", div[2]/a/text())").extract())
        else:
            item['director'] = map(unicode.strip,titres.xpath("h2/div/a/text()").extract())
            item['director'] = map(unicode.strip,titres.xpath,string-join("h2//concat(div[1]/a/text(), ".", div[2]/a/text())").extract())
            item['title'] = map(unicode.strip,titres.xpath("h2/a/text()").extract())
        yield item

带有一位导演的示例HTML：

<h2>
    <a href="#">Movie's title</a>
    <div>Info</div>
    <div><a href="#">Director's name</a></div>
</h2>

有时，当有两位董事时：

<h2>
    <a href="#">Movie's title</a>
    <div>Info</div>
    <div><a href="#">Director's name</a></div>
    <div><a href="#">Second director's name</a></div>
</h2>

你能告诉我我的语法有什么问题吗？

我在没有条件且没有连接的情况下进行了测试，效果非常好。

这是我第一次使用Python，所以请放纵。

非常感谢。

Answer 1

获取所有导演（1,2或更多）并加入join()：

item['director'] = ", ".join(titles.xpath("h2/div/a/text()").extract())

更好的Scrapy特定方法是使用ItemLoader和Join()处理器。定义ItemLoader：

from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.loader.processor import TakeFirst, MapCompose, Join

class MovieLoader(ItemLoader):

    default_output_processor = TakeFirst()

    director_in = MapCompose(unicode.strip)
    director_out = Join()

让它担心剥离和加入：

loader = MovieLoader(MovieItem(), titles)
...
loader.add_xpath("director", "h2/div/a/text()")

Scrapy中的爬行和连接

1 个答案: