Question

我们正在使用NodeJS实验人员来完成一些CPU密集型任务。这些任务通过parentPort消息传递的消息开始。在线程运行期间，它们需要将数据持久存储到数据库中，这是由promise支持的异步操作。

我们看到的是parentPort消息在执行异步操作时一直发送到处理程序函数。

我们正在执行的代码示例：

const { parentPort, Worker, isMainThread } = require('worker_threads');

if (isMainThread) {
  const worker = new Worker(__filename);

  const i = [1, 2, 3, 4, 5, 6, 7, 8, 9];
  for (const x of i) {
    worker.postMessage({ idx: x });
  }
} else {
  parentPort.on('message', async (value) => {
    await testAsync(value);
  });
}

async function testAsync(value) {
  return new Promise((resolve) => {
    console.log(`Starting wait for ${value.idx}`);
    setTimeout(() => {
      console.log(`Complete resolve for ${value.idx}`);
      resolve();

      if(value.idx == 9) {
        setTimeout(() => process.exit(0), 2000);
      }
    }, 500);
  });
}

在上面的示例中，我们看到Starting wait for ...消息出现之前的Complete resolve ...打印内容。对于async-await，我们希望事件处理程序在处理新事件之前先等待已解决的Promise。在实际示例中，数据库连接可能会失败，从而引发异常，因此我们要确保在接受新消息之前已完全处理了当前消息。

我们在这里做错了吗？

如果不是，是否有达到按顺序处理事件的预期目标？

Answer 1

您似乎想使消息入队，并且一次只能处理一件事情。

parentPort.on('message', () => {}是一个事件侦听器，当事件被触发时，它不会等到回调内部的上一个异步操作完成之后。

因此，如果您触发'message'一千次，testAsync将被执行一千次，而无需等待。

您需要在worker中实现一个队列，并限制并发性。 NPM中有多个Promise队列程序包。

在此示例中，我将使用p-queue。

const PQueue = require('p-queue');

const { parentPort, Worker, isMainThread } = require('worker_threads');

if (isMainThread) {
  const worker = new Worker(__filename);

  const i = [1, 2, 3, 4, 5, 6, 7, 8, 9];
  for (const x of i) {
    worker.postMessage({ idx: x });
  }
} else {

    const queue = new PQueue({ concurrency: 1 }); // set concurrency

    parentPort.on('message', value => {
      queue.add(() => testAsync(value));
    });
}

async function testAsync(value) {
  return new Promise((resolve) => {
    console.log(`Starting wait for ${value.idx}`);
    setTimeout(() => {
      console.log(`Complete resolve for ${value.idx}`);
      resolve();

      if(value.idx == 9) {
        setTimeout(() => process.exit(0), 2000);
      }
    }, 500);
  });
}

现在输出将是：

starting wait for 1
complete resolve for 1

starting wait for 2
complete resolve for 2

starting wait for N
complete resolve for N

处理工作线程中的异步消息

1 个答案: