RxPy：在（慢）扫描执行之间排序热观察

Question

TL; DR我正在寻求帮助来实施下面的大理石图。目的是尽可能地对未排序的值进行排序，而无需等待扫描执行之间的时间。

我不是要求全面实施。欢迎任何指导。 我有一个异步慢（强制测试目的）扫描无限热观察。这是相关的代码：

thread_1_scheduler = ThreadPoolScheduler(1)
thread = ExternalDummyService()
external_obs = thread.subject.publish()

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
    .scan(seed=State(0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

external_obs.connect()
thread.start()

def slow_scan_msg(state, msg):
    sleep(0.4)
    return state \
        ._replace(count = state.count + 1) \
        ._replace(last_msg = msg)

这是完整版：https://pyfiddle.io/fiddle/781a9b29-c541-4cd2-88ba-ef90610f5dbd

这是当前输出（值随机生成）：

emitting Msg(count=0, timestamp=14.139175415039062)
emitting Msg(count=1, timestamp=6.937265396118164)
emitting Msg(count=2, timestamp=11.461257934570312)
emitting Msg(count=3, timestamp=13.222932815551758)
emitting Msg(count=4, timestamp=5.713462829589844)
SLOW st.count=0 last_msg.counter=0 ts=14.14
SLOW st.count=1 last_msg.counter=1 ts=6.94
SLOW st.count=2 last_msg.counter=2 ts=11.46
SLOW st.count=3 last_msg.counter=3 ts=13.22
SLOW st.count=4 last_msg.counter=4 ts=5.71
SLOW FINISHED

我想在扫描执行之间对待处理的消息进行排序。因此，第一个发出的消息将始终是第一个消耗的消息，但下一个消耗的消息将是发送和未消费消息的min（值），直到该点（所有这些消息都在当前版本中，因为即时发送）。等等......我认为大理石图比我的解释更好。

请注意，扫描不等待完成事件，唯一的原因是它在发出最后一条消息后没有启动是因为睡眠。 Here you have another version，其中睡眠已从扫描中删除并放入ExternalDummyService。您可以看到值在发出时消耗。这也显示在大理石图中。

我尝试使用to_sorted_list，这是我在RxPy中找到的唯一排序方法，但我无法使其正常工作。

我正在寻找的是这样的：

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
############ buffered_sort() does not exist
    .buffered_sort(lambda msg: msg.timestamp) \
############
    .scan(seed=State("SLOW", 0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

由于

Answer 1

如果您想使用to_sorted_list，则需要重新映射您在单个元素中获得的列表。将main功能更改为：

def main():
    thread_1_scheduler = ThreadPoolScheduler(1)

    thread = ExternalDummyService()
    external_obs = thread.subject.publish()

    external_obs \
        .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
        .to_sorted_list(key_selector=lambda msg: msg.timestamp) \
        .flat_map(lambda msglist: Observable.from_iterable(msglist)) \
        .scan(seed=State(0, None), accumulator=slow_scan_msg) \
        .subscribe(log, print, lambda: print("SLOW FINISHED"))

    external_obs.connect()

    thread.start()

给出：

>emitting Msg(count=0, timestamp=18.924474716186523)
>emitting Msg(count=1, timestamp=4.669189453125)
>emitting Msg(count=2, timestamp=18.633127212524414)
>emitting Msg(count=3, timestamp=15.151262283325195)
>emitting Msg(count=4, timestamp=14.705896377563477)
>SLOW st.count=0 last_msg.counter=1 ts=4.67
>SLOW st.count=1 last_msg.counter=4 ts=14.71
>SLOW st.count=2 last_msg.counter=3 ts=15.15
>SLOW st.count=3 last_msg.counter=2 ts=18.63
>SLOW st.count=4 last_msg.counter=0 ts=18.92
>SLOW FINISHED

请注意，to_sorted_list方法将等待主题流的结束开始扫描，因此您无法使用它来实现问题中显示的大理石图。

为了正确实现它，我认为你需要像onBackpressureBuffer那样在RxJava中实现但不在RxPy中实现。

这不会完全解决问题，因为缓冲区是FIFO（先进先出），并且您需要一种自定义方式来选择首先输出哪条消息。这可能需要调整处理缓冲区请求的方式。

您可能会找到一种更好的方法来推进一个名为rxbackpressure的RxPy扩展解决方案，特别是其类dequeuablebuffer.py，您可以根据自己的需要进行调整。