与kdb的大量连接

Question

我有一个超过10,000名工作者的网格，我使用qpython将数据附加到kdb。目前有1000名工作人员，我在第一次尝试时无法连接和发送数据的大约40名工作人员，当发生这种情况时，顶部显示q处于100％cpu。当我扩展到1万名工人时，问题就会升级。数据量仅为100MB。我尝试过运行额外的奴隶，但kdb告诉我，我不能将它与-P选项一起使用，我猜我需要使用qpython。任何想法如何扩展以支持10k工人。我目前的想法是在两者之间编写一个缓冲写入请求并将它们传递给kdb的服务器，是否有更好的解决方案？

Answer 1

令我感到惊讶的是，您愿意将10,000 cpus专用于Python，但只有一个专用于Kdb。

只需运行更多Kdb核心（在其他端口上），然后启用另一个进程以从摄取核心接收更新。 tickerplant（u.q）是一个很好的模型。