我想在这里实现的是两个流之间的SQL连接。由于只能在Spark 2.3中使用流到流的连接,我试图看看是否可以利用mapGroupswithState
API来实现这一点。
我有两个数据流来自Kafka - 订单和客户。
订单信息流包含以下字段:OrderID
,CustomerID
,OrderDate
客户流包含以下字段:CustomerID
,CustomerName
,ContactName
,Country
上述两个流之间的关系是“CustomerID”字段。
我需要帮助来定义映射状态函数。我这里没有任何聚合,我想要实现的只是一个简单的连接。这可能吗?