我想在同一个Spark Streaming应用程序中使用2个主题,这2个主题的分区是相同的,但是我想批量获取不同的最大大小数据,并且我已经设置了参数“ spark.streaming.kafka”。如果主题的分区是10,则将maxRatePerPartition“设置为1000。 如何在同一批中从topicA提取10000条记录并从topicB提取100000条记录?
val aStream = new ClickParseStream(ssc, spark, "topicA", STREAMING_BATCH_SECONDS)
val bStream = new ClickParseStream(ssc, spark, "topicB", STREAMING_BATCH_SECONDS)
val unionStream = aStream.union(bStream)