使用Flink RocksDBStateBackend和EFS作为大型图像数据的NFS安装

时间:2018-06-01 23:10:15

标签: apache-flink flink-streaming

我们拥有来自许多相机的视频流以高频率/高音量输入的大图像数据(每个大约20 MB)。

当前 设计思想是将这些数据存储在EFS(NAS)中Flink Dataflow的第一步中,并从数据流中的第三步访问EFS数据(可能在完全不同的TaskManager节点中)而不使用RocksDbStateBackend(又名慢Hadoop版本1) Spark通过内存计算解决的模式)。 https://ci.apache.org/projects/flink/flink-docs-master/ops/state/state_backends.html#the-rocksdbstatebackend

  1. 我们可以使用配置了file:/// efsendpoint / checkpoints的RocksDbStateBackend将此图像数据存储在EFS中并从第3步访问它吗?
  2. 检查点间隔是否需要<在步骤1中将数据存储在EFS中之后到达步骤3所需的时间?这是否允许跨越不同的TaskManager节点的Step3通过RockDBStateBackend获取存储在EFS中的数据?
  3. TIA。

0 个答案:

没有答案