重试rxjava中的缓冲区

时间:2019-06-14 10:20:13

标签: rx-java rx-java2 buffering

热的Observable发射物品。我想将这些项目上传到服务器。 有两个注意事项:

  1. 由于 io 操作的费用,我想批量处理这些项目并上传为数组
  2. 由于io操作不可靠,我希望将失败的批次上传预先添加到下一个批次。
Uploads succeed:
1 - 2 - 3 - 4 - 5
------------------
u(1,2,3) - u(4,5)

First upload fails:
1 - 2 - 3 - 4 - 5
------------------
u(1,2,3) - u(1,2,3,4,5)

我可以使用buffer运算符来处理第一个,但不知道如何满足第二个要求。

1 个答案:

答案 0 :(得分:2)

这是我将故障存储在队列中的想法

public class StackOverflow {

    public static void main(String[] args) {
        // store any failures that may have occurred
        LinkedBlockingQueue<String> failures = new LinkedBlockingQueue<>();

        toUpload()
                // buffer however you want
                .buffer(5)
                // here is the interesting part
                .flatMap(strings -> {
                    // add any previous failures
                    List<String> prevFailures = new ArrayList<>();
                    failures.drainTo(prevFailures);
                    strings.addAll(prevFailures);

                    return Flowable.just(strings);
                })
                .flatMapCompletable(strings -> {
                    // upload the data
                    return upload(strings).doOnError(throwable -> {
                        // if its an upload failure:
                        failures.addAll(strings);
                    });
                }).subscribe();
    }

    // whatever your source flowable is
    private static Flowable<String> toUpload() {
        return Flowable.fromIterable(Arrays.asList("a", "b", "c", "d", "e", "f", "g", "h", "i"));
    }

    // some upload operation
    private static Completable upload(List<String> strings) {
        return Completable.complete();
    }
}

这里的一些极端情况是,如果最后一个可流动的缓冲组失败,则不会重试。可以通过retryWhen运算符来实现,但基本思路与使用队列相同