使用多线程RxJava进行反应性拉动

时间:2015-08-12 16:19:46

标签: java multithreading java-8 reactive-programming rx-java

我正在 RxJava 中建立一个被动拉观察者。

我的观察者是这样的:

Observable<Command> myObs = Observable.create(s -> {
   Command command;
   int i = 0;
   do {
      command = NetworkOperation1.call(i);
      logger.info("Init command " + i);
      s.onNext(command);
      i++;
   } while (!command.isLast() && i < MAX);
   s.onCompleted();
});

我想在4个并发批次(缓冲区)中处理它,如下所示:

myObs
    .buffer(10)
    .flatMap(batch -> {
          return Observable
                   .from(batch)
                   .subscribeOn(Schedulers.io())
                   .map(c -> {
                       Intermediate m = NetworkOperation2.call(c));
                       logger.info("Done intermediate " + m.id);
                       return m;
                   }
          }, 4);

然后,我需要以不同的大小批量处理结果,如下所示:

    .buffer(25)
    .subscribeOn(Schedulers.newThread())
    .subscribe(list ->
         logger.info("Finished batch with " + list.size());

问题在于Observable 中的命令是一次性处理,而我希望它们在需要时处理

以下是发生的事情的日志:(注意所有1000个命令一次运行,而不是根据需要调用)

Init command 0
Init command 1
Init command 2
...
Init command 999
Done intermediate 0
Done intermediate 1
...
Done intermediate 24
Finished batch with 25
Done intermediate 25
Done intermediate 26
...
Done intermediate 49
Finished batch with 25
...

问题:有没有办法暂停观察者的线程,所以它不会立即发出所有命令或类似的东西?我已经尝试了request()运算符,但我无法让它工作。

谢谢。

1 个答案:

答案 0 :(得分:4)

您需要背压感知源和操作员。您使用的操作员支持背压但您的来源不支持。

请改为:

.ssh

.ssh支持背压,因此只会在要求时发出。