我正在使用spark传输kafka主题,但是当程序启动时,它占用了10%的cpu,但是在几个小时之后它会达到150%cpu(2个核心)。 我的火花配置:
val conf = new SparkConf(true)
.setMaster("local[*]")
.setAppName("Matix Processor")
.set("spark.streaming.unpersist","true")
.set("spark.cleaner.ttl","125")
和kafka stream:
val stream = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](
streamingContext, parameters, topics, StorageLevel.MEMORY_AND_DISK)
有人建议我缺少什么。 提前谢谢。