在scrapinghub中,我们如何实现多个项目的导出?
我有MainItem()
和SubItem()
物品类,我想在scrapinghub物品页面中获得两个单独的物品。
我可以通过为两者实现不同的
item pipelines
来做到这一点 正常爬网中的项目,但如何在 scrapinghub?到目前为止,我只在MainItem()
个对象中items page
。
下面给出的示例代码段
def parse_data(self, response):
.
.
.
# main item fields
m_item = MainItem()
m_item['a'] = 'A'
m_item['b'] = 'B'
yield m_item
# sub item fields
s_item = SubItem()
s_item['c'] = 'C'
s_item['d'] = 'D'
yield s_item
在scrapinghub
中,我只能查看MainItems()
字段
答案 0 :(得分:1)
您可以提供更多信息吗?蜘蛛代码和日志,我看不到您的示例有任何问题。
Scrapy Cloud确实允许蜘蛛产生不同的物品。以后可以使用SC界面过滤这些项目。