我正在尝试使用命名管道将图像流从python进程传递到nodejs进程,理想情况下,以每秒60帧的速度传输1兆字节的图像。我获得的吞吐量仅为每秒25帧左右。我很惊讶它这么慢,所以我测试了将帧从一个python进程转移到第二个python进程。我能够达到每秒约500帧的传输速率。我是nodejs的新手,所以我很容易会丢失一些东西,但是我认为它的速度可以与之相比。为什么我的nodejs程序在使用命名管道中的数据时速度如此之慢?
我正在使用nodejs可读流并读取“可读”事件:
const fs = require('fs');
fifo = fs.createReadStream(process.argv[2], { highWaterMark: 4*1024**2, });
let t0 = Date.now();
fifo.on('readable', () => {
const chunk = fifo.read(1024 ** 2);
if (chunk !== null) {
let t1 = Date.now();
process.stdout.write(`${(t1 - t0)/1000.}s, ${1000./(t1 - t0)}fps\n`);
t0 = t1;
}
});
fifo.on('end', () => {
process.stdout.write('end');
});
我的python生产者只是将字节写入命名管道,就像它是一个文件一样:
import sys
import numpy as np
im = np.random.randint(0, 255, size=(1024, 1024)).astype(np.uint8).ravel()
with open(sys.argv[1], 'wb') as f:
while True:
f.write(im.tobytes())
f.flush()
python阅读器只是从命名管道读取文件,就像它是一个文件一样:
import sys
import numpy as np
import time
l = 1024 ** 2
t0 = time.time()
with open(sys.argv[1], 'rb') as f:
while True:
im = f.read(l)
t1 = time.time()
print('{}s, {}fps'.format(t1 - t0, 1/(t1 - t0)))
t0 = t1
要测试python到javascript的传输,请执行以下操作:
mkfifo /tmp/video; python producer.py /tmp/video & node reader.js /tmp/video
并测试python到python的传输:
mkfifo /tmp/video; python producer.py /tmp/video & python reader.py /tmp/video
我正在使用mac(OS 10.13.6、2.7 GHz Intel Core i5)。 Python 3.7.0。节点v8.9.1。
我也尝试为nodejs读取器使用'data'事件,就像 慢。 nodejs事件是否有足够的开销来减慢读取速度?
任何想法将不胜感激!
答案 0 :(得分:0)
这似乎是macOS的限制。
据我所知,macOS上的命名管道具有无法更改的固定缓冲区大小(大约在16或64K的范围内),而在Linux上,大小可以调整到1M。
我进行了测试,在Linux上reader.js
的性能要好得多,与reader.py
差不多。
一项快速测试表明,将Python进程作为子进程运行可以大大提高读取速度:
// reader.js
const { spawn } = require('child_process');
const fifo = spawn('python', ['producer.py']).stdout; // (instead of fs.createReadStream(...))
...
// producer.py
...
f = sys.stdout.buffer
while True:
f.write(im.tobytes())
f.flush()