"退出点"在scrapy?

时间:2015-11-30 19:14:46

标签: python web-crawler scrapy yield

最后执行的可以接受解析数据的函数/方法是什么?

我正在编写一个特定的蜘蛛来解析后端。我的想法是:

  • 创建一个页面列表,并且" yield"在他们身上(完成),
  • 创建一个公共常量来保存已解析的数据,
  • 将公开数据传递给Jinja2并获取html文件。

结构:

scrapyspider/
├── myspider
│   ├── __init__.py 
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── the_spider.py
├── scrapy.cfg
└── template.html

我的所有代码都在the_spider.py中,我想知道最后执行的函数,我可以从yielding / parsing传递解析数据?我一直迷失在收益率和回调的并行执行中。

如果答案是通过每个"页面"到管道,怎么做?

谢谢!

0 个答案:

没有答案