所以我想知道在首先对直接流应用转换然后调用foreachRDD而不是只做后者时是否会有任何明显的区别。
答案 0 :(得分:0)
不同之处在于您在调用<?php
$id = $_GET['id'];
echo $id;
?>
时执行的转换。从docs开始,transform()
采用函数: transform(func)。根据{{1}}的实施情况,结果会有所不同。
用Spark的术语简化DAG:
DStream.transform()。foreachRDD()是转换 - &gt;操作强>
DStream.foreachRDD()只是行动