Question

我正在尝试不断消费来自kafka的事件。同一个应用程序也使用这个消耗的数据，以n秒的间隔执行一些分析和更新数据库（假设n = 60秒）。

在同一个应用程序中，如果process1 = Kafka Consumer , process2= Data Analysis and database update logic.

process1 is to be run continuously
process2 is to be executed once every n=60 seconds

process2关注计算和数据库更新，因此需要5-10秒才能执行。在process1执行期间，我不希望process2停顿。因此，如果我在python中使用multiprocessing module模块，我正在使用process1,process2（thread1,thread2将是Threading，但由于我读到的有关GIL和{{{ 1}}模块无法利用多核架构，我决定使用Threading模块。）在这种情况下实现并发。（如果我对上述multiprocessing或GIL模块限制的理解不正确，请向我道歉，请随时纠正我。

我所拥有的应用程序在两个进程之间进行了相当简单的交互，其中Threading只是在60秒内收到的所有消息填充队列，并且在60秒结束时，只将所有消息传递给{{ 1}}。

我遇到了这种转移逻辑的问题。如何将队列的内容从process1传输到process2（我想这将是主要过程或另一个过程？这是我的另一个问题，我应该实例化除主要的2个进程进程？）在60秒结束时随后清除队列内容，以便在另一次迭代时再次启动。

到目前为止，我有以下内容：

process1

非常感谢任何帮助。

Answer 1

您正在处理的问题不是特定于卡夫卡的，因此我将使用通用＆＃34;消息＆＃34;这只是简单的。

在我看来，主要的问题是，一方面你想要处理消息一旦生成，另一方面只想更新数据库每60秒。

如果使用q.get()，默认情况下此方法调用将阻塞，直到队列中有可用消息。这可能需要超过60秒，这将延迟数据库更新太长时间。因此，我们无法使用屏蔽q.get。我们需要使用q.get超时，以便呼叫是非阻塞的：

import time
import multiprocessing as mp
import random
import Queue

def process_messages(q):
    messages = []
    start = time.time()
    while True:
        try:
            message = q.get(timeout=1)
        except Queue.Empty:
            pass
        else:
            messages.append(message)
            print('Doing data analysis on {}'.format(message))
        end = time.time()
        if end-start > 60:
            print('Updating database: {}'.format(messages))
            start = end
            messages = []

def get_messages(q):
    while True:
        time.sleep(random.uniform(0,5))
        message = random.randrange(100)
        q.put(message)

if __name__ == "__main__":
    q = mp.Queue()

    proc1 = mp.Process(target=get_messages, args=[q])
    proc1.start()

    proc2 = mp.Process(target=process_messages, args=[q])
    proc2.start()

    proc1.join()
    proc2.join()

产生如下输出：

Doing data analysis on 38
Doing data analysis on 8
Doing data analysis on 8
Doing data analysis on 66
Doing data analysis on 37
Updating database: [38, 8, 8, 66, 37]
Doing data analysis on 27
Doing data analysis on 47
Doing data analysis on 57
Updating database: [27, 47, 57]
Doing data analysis on 85
Doing data analysis on 90
Doing data analysis on 86
Doing data analysis on 22
Updating database: [85, 90, 86, 22]
Doing data analysis on 8
Doing data analysis on 92
Doing data analysis on 59
Doing data analysis on 40
Updating database: [8, 92, 59, 40]

持续使用Kafka并使用多处理以特定间隔更新队列

1 个答案: