Question

API应该允许包含用户想要抓取的URL的任意HTTP get请求，然后Flask应该返回scrape的结果。

以下代码适用于第一个http请求，但在反应堆停止后，它将不会重新启动。我甚至可能不会以正确的方式解决这个问题，但我只是想在Heroku上放置一个RESTful scrapy API，到目前为止，我能想到的就是它。

有没有更好的方法来构建此解决方案？或者我如何允许scrape_it返回而不停止扭曲的反应堆（不能再次启动）？

from flask import Flask
import os
import sys
import json

from n_grams.spiders.n_gram_spider import NGramsSpider

# scrapy api
from twisted.internet import reactor
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

app = Flask(__name__)


def scrape_it(url):
    items = []
    def add_item(item):
        items.append(item)

    runner = CrawlerRunner()

    d = runner.crawl(NGramsSpider, [url])
    d.addBoth(lambda _: reactor.stop()) # <<< TROUBLES HERE ???

    dispatcher.connect(add_item, signal=signals.item_passed)

    reactor.run(installSignalHandlers=0) # the script will block here until the crawling is finished


    return items

@app.route('/scrape/<path:url>')
def scrape(url):

    ret = scrape_it(url)

    return json.dumps(ret, ensure_ascii=False, encoding='utf8')


if __name__ == '__main__':
    PORT = os.environ['PORT'] if 'PORT' in os.environ else 8080

    app.run(debug=True, host='0.0.0.0', port=int(PORT))

Answer 1

我认为没有一种好方法可以为Scrapy创建基于Flask的API。 Flask不是一个正确的工具，因为它不是基于事件循环。更糟糕的是，Twisted reactor（Scrapy使用）can't在一个线程中不止一次启动/停止。

让我们假设Twisted reactor没有问题，您可以启动和停止它。它不会让事情变得更好，因为你的scrape_it函数可能会长时间阻塞，所以你需要很多线程/进程。

我认为可行的方法是使用Twisted或Tornado之类的异步框架创建API;它将比基于Flask（或基于Django）的解决方案更有效，因为API将能够在Scrapy运行蜘蛛时提供请求。

Scrapy基于Twisted，因此使用twisted.web或https://github.com/twisted/klein可以更直接。但是龙卷风并不难，因为你可以使用Twisted事件循环。

有一个名为ScrapyRT的项目，它与您想要实现的项目非常相似 - 它是Scrapy的HTTP API。 ScrapyRT基于Twisted。

作为Scrapy-Tornado集成检查的考试Arachnado - here是如何将Scrapy的CrawlerProcess与Tornado的应用程序集成的示例。

如果你真的想要基于Flask的API，那么在单独的进程中开始抓取和/或使用像Celery这样的队列解决方案是有意义的。这样你就失去了大部分的Scrapy效率;如果你这样走，你也可以使用requests + BeautifulSoup。

Answer 2

上周我一直在做类似的项目，它是SEO服务API，我的工作流程是这样的：

客户端向带有URRL的基于Flask的服务器发送请求以及在完成报废时通知客户端的回调URL（客户端是其他Web应用程序）
使用 Celery 在后台运行Scrapy。蜘蛛会将数据保存到数据库中。
后台服务将通过在蜘蛛完成时调用回调网址来通知客户端。

为Scrapy构建RESTful Flask API

2 个答案: