kafka spark流式cpu的使用量随着时间的推移而不断增加

时间:2015-04-16 15:20:40

标签: apache-spark

我正在使用spark传输kafka主题,但是当程序启动时,它占用了10%的cpu,但是在几个小时之后它会达到150%cpu(2个核心)。 我的火花配置:

val conf = new SparkConf(true)
    .setMaster("local[*]")
    .setAppName("Matix Processor")
    .set("spark.streaming.unpersist","true")
    .set("spark.cleaner.ttl","125")

和kafka stream:

val stream = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](
    streamingContext, parameters, topics, StorageLevel.MEMORY_AND_DISK)

有人建议我缺少什么。 提前谢谢。

0 个答案:

没有答案