我有两种数据类型。
type1 and type2
我的数据流为type1
。
DataStream<type1> stream1 =...
内部stream1
我想创建type2
的对象,我想同时收集type1
和type2
的对象。
一个数据流是否可以有一种输入类型和两种输出类型?或者是否可以在DataStream<type2> stream2
内创建新的数据流(stream1
)?
或者是否有其他方法可以收集从一种类型评估的两种不同类型的数据?
答案 0 :(得分:1)
您需要先创建一个包装器类型,然后拆分并选择您的流。对于包装器,只有一个成员 not-null ;
class TypeWrapper {
// keeping this short for brevity
public TypeA firstType;
public TypeB secondType;
}
拆分并选择:
DataStream<TypeWrapper> stream1 = ...
DataStream<TypeA> streamA = stream1.filter(new FilterFunction<TypeWrapper>() {
@Override
public boolean filter(TypeWrapper value) throws Exception {
return value.firstType != null;
}
})
.map(new MapFunction<TypeWrapper, TypeA>() {
@Override
public TypeA map(TypeWrapper value) throws Exception {
return value.firstType;
}
});
DataStream<TypeB> streamB = stream1.filter(new FilterFunction<TypeWrapper>() {
@Override
public boolean filter(TypeWrapper value) throws Exception {
return value.secondType != null;
}
})
.map(new MapFunction<TypeWrapper, TypeB>() {
@Override
public TypeB map(TypeWrapper value) throws Exception {
return value.secondType;
}
});
由于filter()
和map()
将被链接到stream1
,因此两者都在同一个线程上执行,操作也很便宜。
答案 1 :(得分:1)
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
case class Type1(){}
case class Type2(){}
object MultipleOutputJob {
def main(args: Array[String]) {
val env = StreamExecutionEnvironment.getExecutionEnvironment
// Stream of Type1
val stream1 = env.addSource((sc: SourceFunction.SourceContext[Type1]) => {
while(true){
Thread.sleep(1000)
sc.collect(Type1())
}
})
// Mapping from Type1 to Type2
val stream2 = stream1.map(t1 => Type2())
// Collect both the original and the derived data
stream1.print
stream2.print
env.execute()
}
}