我们需要处理数百万条记录,从数据库到微软产品。
在我们的流程中,我们调用多个流,并且在每个流中我们都使用每个流。 我们需要顺序流程,因为我们在另一个流请求中使用了一个流响应。
我们不需要使用批处理。
有没有办法提高性能并更快地处理此流程
答案 0 :(得分:0)
加快这样的流程的最佳方法是使其部分异步。我这样做的方法是读取每个输入记录(使用Mule数据库组件的流功能)并将其放到JMS队列中。然后,您有另一个流从队列和进程中读取记录,按顺序为每个记录调用每个处理流,但一次处理多个记录。然后可以使用JMS连接设置配置吞吐量。
如果一个记录的处理取决于处理前一个记录的结果,那么您将无法使用当前的顺序处理,因此您需要重新构建解决方案并尝试删除该要求。