如何使用scrapy loader处理器实现长期功能?

时间:2018-05-12 01:54:23

标签: python web-scraping scrapy

我使用项目加载器并在示例中使用了mapcompose之类的加载器处理器来清理文本,例如:

clean_text = Compose(MapCompose(lambda v: v.strip()), Join())   
test = ['item1', 'item2', 'item3']
clean_text(test)

它返回:

u'item1 item2 item3'

现在,我看了一个不同的输出,对于相同的输入,我需要用逗号分隔的数据,因为我使用.csv文件,我也引用文本不破坏格式。

'"""item1,item2,item3"""'

为此,我写了这个函数:

def quote_field(text):
    text = ','.join([v.strip() for v in text ])
    return '"""' + text.strip() + '"""'

如何实施项目加载器?

0 个答案:

没有答案