缓存数据以在不同转换中使用的最佳方法

Question

我有一个从大型数据存储中读取数百万个ID的转换。

我想以某种方式将这些ID存储在列表或散列图中。

我还有十几个其他变换。 每个转换都从其他不同的子数据存储中获取输入数据（ids）。

我想要做的是，在UDJC中，当我从子数据存储中获取id时，以某种方式检查每个id是否已经在mega id列表中。

由于性能原因，我无法为每次转型调用大型商店。

如何创建/合并我可以在后续UDJC中使用的大型ID列表？

由于

Answer 1

我最终在一次转换中将id序列化为一个文件，并在后续转换中对文件进行反序列化。