如何处理具有数百万条记录的事件源

时间:2019-02-19 21:48:53

标签: event-sourcing

我们正在考虑实施事件来源/ CQRS,对于我们95%的系统,我可以对事件进行推理,但这并不会吓到我。

另一方面,我们也有一个要求,即客户可以一次性插入数百万条记录的数据。它们的很大一部分可以在它们移动位置等时立即更新,也可以更新批次级别的详细信息。如果他们之后改变主意,也需要扭转这种情况。

每条记录都与现实世界中的物理实体相关,重要的是,读取模型必须快速更新,并不惜一切代价为每条记录保留审计跟踪。

我似乎找不到有关如何处理这些卷的任何建议。您是否应该为每个单独的记录和操作编写一个事件,并且只接受它在计算上/数据库上会很昂贵?有没有类似要求的案例研究?

任何指导表示赞赏。

1 个答案:

答案 0 :(得分:1)

  

您是否应该为每个记录和操作编写一个事件,并且只接受它在计算上/数据库上会很昂贵?

一种可能有用的启发式方法-您将如何使用版本控制系统来做到这一点?您是要创建一个空文档,然后进行一百万次提交,还是只有一个Data Imported提交,然后从那里去?

需要注意的一个重要注意事项是数据的权限位于其他地方。 “现实世界中的物理实体”不受域模型规则的约束;您有很多参考数据

这可以帮助您思考流程-您拥有的是一个导入参考数据流程,该流程具有相对较少的即时步骤,并且独立地执行了一些“对每条记录进行有趣的操作”,结果可能有数百万个具有少量事件的小流程。