Question

我正在编写一个Flink流程序，以对我们的离线训练模型进行特征提取，并对程序的设计感到疑惑。我希望每个特征提取逻辑在其类中保持自己的状态，以便添加新的特征提取等同于添加新的类。

粗略的高级设计如下：

#data is the stream of relative paths to the feature extraction logic in our code e.g. com.xxx.FeatureExtraction1
val data:DataStream[String] = ...

#based on the relative path, use reflection to initiate the class
featureExtraction1 = method.getReflect("com.xxx.FeatureExtraction1")
data.keyBy(_).flatmap(featureExtraction1)

每个特征提取逻辑都有自己的内部状态跟踪

class FeatureExtraction1 extends RichFlatMapFunction[String, Double)] {

private var mystate: MapState = _

override def flatMap(input: String, out: Collector[Double]) = {
// access the state value
}

override def open(parameters: Configuration): Unit = {
   mystate = xxx
}

}

一旦我添加了一个新的特征提取类，例如com.xxx.FeatureExtraction2，我将其附加到数据流中，例如

data.keyBy(_).flatmap(featureExtraction1).flatmap(featureExtraction2)...flatmap(featureExtractionN)

但是，我对Flink不太了解，无法确定如果FeatureExtraction1和featureExtractionN这样链接在一起，它们将同时执行（它们应该在我的脑海中）。其次，我想编写代码以自动创建新的特征提取逻辑，而无需将其附加到流中。在我的脑海中，可能看起来像这样：

data.keyBy(_).foreachValueIntheStream.flatmap(new FeatureExtractionX based on the Value)

如果我能做到这一点，那么添加新功能就是添加具有自己状态跟踪的新功能提取类

请告诉我我的幼稚想法。感谢您的指导。

Answer 1

Flink无法动态添加功能。但是，我认为您可以做些接近的事情。

我将使用广播流作为特征路径，并使用常规流作为要处理的实际数据。连接它们以创建连接的流，然后将其运行到CoFlatMapFunction中。在此函数内，您将维护一个应用于动态输入数据的（动态生成的）特征提取函数的列表。对于状态，请使用Map<feature extraction function id, value>，以便每个要素提取功能将其状态记录在同一张地图中。

您确实有一个典型的问题，就是想在处理第一个数据元素之前清空广播流-请参阅邮件列表以获取有关如何执行此操作的讨论。

使用流中的值动态创建平面图函数（键状态）

1 个答案: