Question

我正在评估Apache Flink的流处理作为Apache Spark的替代/补充。我们通常使用Spark解决的任务之一是数据丰富。

即，我有来自具有传感器ID的物联网传感器的数据流，并且我有一组传感器元数据。我想将输入流转换为传感器测量流+传感器元数据。

在Spark中，我可以使用RDD加入DStream。

case calss SensorValue(sensorId: Long, ...)
case class SensorMetadata(sensorId: Long, ...)
val sensorInput: DStream[SensorValue] = readEventsFromKafka()
val staticMetadata: RDD[(Long, SensorMetadata)] =
  spark.read.json(...).as[SensorMetadata]
 .map {s => (s.sensorId, s)}.rdd
val joined: DStream[(SensorValue, SensorMetadata)] = 
  sensorInput.map{s => (s.sensorId, s)}.transform { rdd: RDD[SensorValue] => 
  rdd.join(staticMetadata)
     .map { case (_, (s, m)) => (s, m) } // Get rid of nested tuple
}

我可以用Apache Flink做同样的伎俩吗？我没有看到直接的API。我只有想法才能使用有状态转换 - 我可以在单个流中合并元数据和传感器事件，并使用Flink状态存储来存储元数据（伪代码）：

val sensorInput: DataStream[SensorValue] = readEventsFromKafka()
val statisMetadata: DataStream[SensorMetadata] = readMetadataFromJson()
val result: DataStream[(SensorValue, SensorMetadata)] =
  sensorInput.keyBy("sensorId")
 .connect(staticMetadata.keyBy("sensorId"))
 .flatMap {new RichCoFlatMapFunction() {
   private val ValueState<SensorMetadata> md = _;
   override def open = ??? // initiate value state
   def flatMap1(s: SensorEvent, s: Collector(SensorEvent, SensorMetadata)) = 
      collector.collect(s, md.value) 
   def flatMap2(s: SensorMetadata, s: Collector[(SensorEvent, SensorMetadata)]) = 
   md.update(s)  
 }}

这是正确的做法吗？当元数据不适合一台机器时，我可以在更大规模下使用吗？

由于

Answer 1

使用CoFlatMapFunction加入是一种常见方法。但是，它有一个明显的缺点。只要任一输入的元组到达并且您无法控制首先使用哪个输入，就会调用该函数。因此，在开始时，您必须在未完全读取元数据时处理传感器事件。一种方法是缓冲一个输入的所有事件，直到消耗另一个输入。另一方面，CoFlatMapFunction方法的好处是您可以动态更新元数据。在您的代码示例中，两个输入都是在连接键上键入的。这意味着输入被分区，每个任务槽正在处理不同的密钥集。因此，您的元数据可能比机器可以处理的大（如果您配置RocksDB状态后端，状态可以持久保存到磁盘，因此您甚至不受内存大小的限制）。

如果您要求在作业启动时必须存在所有元数据，并且元数据是静态的（它不会更改）并且足够小以适合一台计算机，您还可以使用常规FlatMapFunction和从文件加载open()方法中的元数据。与您的方法相反，这将是一个广播连接，其中每个任务时段在内存中都有完整的元数据。除了在使用事件数据时提供所有元数据外，该方法还有一个好处，即您无需随机播放事件数据，因为它可以在任何计算机上连接。

我可以使用Flink状态来执行加入吗？

1 个答案: