使用Spark Streaming时如何在同一应用程序中按不同批次大小设置不同主题

时间:2019-04-23 10:31:15

标签: scala spark-streaming

我想在同一个Spark Streaming应用程序中使用2个主题,这2个主题的分区是相同的,但是我想批量获取不同的最大大小数据,并且我已经设置了参数“ spark.streaming.kafka”。如果主题的分区是10,则将maxRatePerPartition“设置为1000。 如何在同一批中从topicA提取10000条记录并从topicB提取100000条记录?

val aStream = new ClickParseStream(ssc, spark, "topicA", STREAMING_BATCH_SECONDS)
val bStream = new ClickParseStream(ssc, spark, "topicB", STREAMING_BATCH_SECONDS)
val unionStream = aStream.union(bStream)

0 个答案:

没有答案