有什么线索如何加入这种火花结构的流连接吗？

Question

我正在使用带有spark-cassandra-connector-2_11.jar的spark-sql-2.4.1

我正在尝试加入流式数据集，如下所示：

(.*?):(.*?);

有什么线索可以解决，这里怎么了？

遇到以下错误：

(.*?):(.*?);?

什么是处理结构化流联接的正确方法？正确使用waterMark。 大多数文档没有多大用处，它们仅使用简单易用的Scarnio，在现实生活中没有任何价值。

Answer 1

AFAIK Spark结构化流式传输在聚合（或其他非类似地图的操作）后无法加入连接

https://spark.apache.org/docs/2.4.3/structured-streaming-programming-guide.html#support-matrix-for-joins-in-streaming-queries

  

从Spark 2.3开始，在联接之前不能使用其他非类地图操作。以下是一些无法使用的示例。

     

  
• 在加入之前不能使用流式聚合。
  

我认为在Spark 2.4中仍然如此