在使用Worker Queue设计正确的数据导入方式时遇到困难。
我的数据存储中包含JSON文件，每个文件包含多达50k条记录。该应用程序应允许用户选择一个目录，并通过对记录进行验证，将记录一对一地导入另一个数据库。用户界面允许选择多个目录。
当前的实现依赖于RabbitMQ和worker，它们执行以下操作：
UI向API发送请求，以将消息发送到具有目录ID的队列中。 工作者（node.js应用程序）执行以下操作：
对于每个目录来说，这样的处理可能会花费很长时间，并且处理时间导致工作人员数小时忙于一条消息。 每个工作人员每次处理1条消息，并在处理结束时进行手动确认。
是否有更有效的方式处理此类导入？