我们拥有来自许多相机的视频流以高频率/高音量输入的大图像数据(每个大约20 MB)。
当前 设计思想是将这些数据存储在EFS(NAS)中Flink Dataflow的第一步中,并从数据流中的第三步访问EFS数据(可能在完全不同的TaskManager节点中)而不使用RocksDbStateBackend(又名慢Hadoop版本1) Spark通过内存计算解决的模式)。 https://ci.apache.org/projects/flink/flink-docs-master/ops/state/state_backends.html#the-rocksdbstatebackend
TIA。