通过Spark Streaming通过多个键匹配状态

时间:2018-07-10 19:22:51

标签: apache-spark spark-streaming

如果我有一个实体User,该实体具有一些生成的UUID作为标识符怎么办?我也有许多带有用户事件的外部事件源,但是这些事件中的用户由不同类型的自然伪ID(例如税号,电话号码,姓名等)标识,具体取决于源。还有一种特殊的事件类型(例如UserRegistered),其中包含所有这些ID,包括UUID。

现在,我需要对这些事件执行各种汇总。自然,我想先对其进行规范化(或丰富化),以便所有事件都具有UUID,以便以后可以轻松地对这些事件进行分组。显然,应该无限期地保留此映射信息。

使用Spark Streaming做到这一点的最佳方法是什么?

0 个答案:

没有答案