使用带有火花流的memSQL已经放慢了很多，Spark流媒体工作的事件/秒

Question

我有一个火花流式传输作业，在某些情况下会访问memSQL。对于不访问memSQL的情况，事件/秒大约为3000.但是对于访问memSQL的情况，事件/秒只有大约500.我正在访问memSQL，如下所示：

What is the correct way of using memSQL Connection object inside call method of Apache Spark code

感谢

Answer 1

这很可能是因为您正在为微量分析中的每个分区建立连接。如果你增加每个批次的大小，它会更快。