Python Celery异步保存数据库中的结果

Question

我正在使用Python与Celery和RabbitMQ制作一个网络蜘蛛来计算页面上的链接数量。

可以异步写入MySQL等数据库吗？可以在添加每一行后提交更改，还是需要批量处理（多次添加）然后在一定数量的行/持续时间后提交？

我更喜欢使用SQLAlchemy和MySQL，除非有更多推荐的Celery / RabbitMQ组合。我也看到NoSQL（CouchDB？）推荐。

Answer 1

对于像计数器和日志这样的写入密集型操作，NoSQL解决方案始终是最佳选择。我个人使用mongoDB来完成这类任务。