运行storm 0.9.6时出现“OutOfMemoryError:Direct buffer memory”

时间:2015-12-18 01:55:57

标签: netty apache-storm

我在storm0.9.6上运行了一个简单的wordcount拓扑,发现了2个异常行为

  1. Netty重新连接这么多时间。
  2. 直接记忆不断增长。最后抛出java.lang.OutOfMemoryError。
  3. 以下是意外信息:

    DocumentFilter

    和我在storm.yaml中配置Fragment如下:

    require(data.table)
    set.seed(1)
    airquality$var1 <- c(sample(1:3, 153, replace=T))
    airquality$var2 <- c(sample(1:2, 153, replace=T))
    airquality2 <- airquality
    airquality2$Solar.R <- as.numeric(airquality2$Solar.R)
    airquality2$Solar.R <- airquality2$Solar.R*2
    airquality3 <- airquality
    airquality3$Solar.R <- as.numeric(airquality3$Solar.R)
    airquality3$Solar.R <- airquality3$Solar.R*2.5
    test <- round(na.omit(rbind(airquality, airquality2, airquality3)))
    test$var1 <- factor(test$var1)
    test$var2 <- factor(test$var2)
    dt_test <- as.data.table(test)
    
    dt_test[,.SD[order(-Solar.R)][c(3:(.N-1))],.(Month,var1,var2)]
    

    任何人都知道如何解决这两个问题?

0 个答案:

没有答案