Question

我有非常基本的用pika框架在python中编写的生产者-消费者代码。问题是-消费者方在队列中的消息上运行太慢。我进行了一些测试，发现使用多处理程序可以将工作流程加速多达27倍。问题是-我不知道向我的代码添加多处理功能的正确方法是什么。

import pika
import json
from datetime import datetime
from functions import download_xmls


def callback(ch, method, properties, body):
    print('Got something')
    body = json.loads(body)
    type = body[-1]['Type']
    print('Object type in work currently ' + type)
    cnums = [x['cadnum'] for x in body[:-1]]
    print('Got {} cnums to work with'.format(len(cnums)))

    date_start = datetime.now()
    download_xmls(type,cnums)
    date_end = datetime.now()
    ch.basic_ack(delivery_tag=method.delivery_tag)
    print('Download complete in {} seconds'.format((date_end-date_start).total_seconds()))


def consume(queue_name = 'bot-test'):
    parameters = pika.URLParameters('server@address')
    connection = pika.BlockingConnection(parameters)
    channel = connection.channel()
    channel.queue_declare(queue=queue_name, durable=True)
    channel.basic_qos(prefetch_count=1)
    channel.basic_consume(callback, queue='bot-test')
    print(' [*] Waiting for messages. To exit press CTRL+C')
    channel.start_consuming()

如何从此处添加多处理功能开始？

Answer 1

Pika有广泛的example code，建议您查看。请注意，此代码仅供示例使用。如果要在线程上进行工作，则必须使用更智能的方法来管理线程。

目标是不阻塞运行Pika的IO循环的线程，并从工作线程中正确地回调到IO循环。这就是add_callback_threadsafe存在并在该代码中使用的原因。

_{注意： RabbitMQ团队监视rabbitmq-users mailing list，并且有时仅在StackOverflow上回答问题。}

如何在Python中使用pika（RabbitMQ）向消费者添加多处理

1 个答案: