即时数据转换

Question

除了手动映射之外，还有其他方法可以即时翻译相关值吗？我知道这听起来很模糊，但我正在寻找一种方法来获取“2015福特”的输入值，并将其转换为客户提供的映射，表明系统中的值相同。假设他们为我们提供了每辆车在他们的系统中如何表示的映射。所以像这样：

“福特” - ＆gt; 1111 “宝马” - ＆gt; 2222 “法拉利” - ＆gt; 5050

我想看看是否可以使用类似风暴螺栓的东西来实现这一目标。 （显然，我不熟悉风暴之外的数据丰富功能）或者是否有其他数据系统提供此功能。因为为我的每个客户做一次性映射并不是真的可行。

提前感谢任何建议！

Answer 1

基本上，您希望使用实时流（或批处理数据）加入映射文件。

在spark中，您可以广播您的映射文件，然后像hashmap一样使用它来更新您的直播流。