Scrapinghub导出多个项目

时间:2019-04-05 22:10:34

标签: python web-scraping scrapy scrapinghub

scrapinghub中,我们如何实现多个项目的导出?

我有MainItem()SubItem()物品类,我想在scrapinghub物品页面中获得两个单独的物品。

  

我可以通过为两者实现不同的item pipelines来做到这一点   正常爬网中的项目,但如何在   scrapinghub?到目前为止,我只在MainItem()个对象中   items page

下面给出的示例代码段

def parse_data(self, response):
    .
    .
    .
    # main item fields
    m_item = MainItem()
    m_item['a'] = 'A'
    m_item['b'] = 'B'
    yield m_item

    # sub item fields
    s_item = SubItem()
    s_item['c'] = 'C'
    s_item['d'] = 'D'
    yield s_item

scrapinghub中,我只能查看MainItems()字段

1 个答案:

答案 0 :(得分:1)

您可以提供更多信息吗?蜘蛛代码和日志,我看不到您的示例有任何问题。

Scrapy Cloud确实允许蜘蛛产生不同的物品。以后可以使用SC界面过滤这些项目。