Question

我正在运行一些来自R的脚本，它从一些网站获取信息。问题是即使我用gc()清理会话，内存也会不断增长，直到我的会话崩溃。

这是脚本：

library(XML)
library(RJDBC)
library(RCurl)

    procesarPublicaciones <- function(tabla){

        log_file <<- file(log_path, open="a")

        drv <<- JDBC("oracle.jdbc.OracleDriver", classPath="C:/jdbc/jre6/ojdbc6.jar"," ")
        con <<- dbConnect(drv, "server_path", "user", "password")

        query <- paste("SELECT * FROM",tabla,sep=' ')

        bool <- tryCatch( 
                { 
                ## Get a list of URLs from a DB
                listUrl <- dbGetQuery(con, query)
                if( nrow(listUrl) != 0) TRUE else FALSE
                dbDisconnect(con)
                },  error = function(e) return(FALSE)
                )
        if( bool ) {

            file.create(data_file)
            apply(listUrl,c(1),procesarHtml)
        }else{
            cat("\n",getTime(),"\t[ERROR]\t\t", file=log_file)
        }
        cat( "\n",getTime(),"\t[INFO]\t\t FINISH", file=log_file)
        close(log_file)
    }

    procesarHtml <- function(pUrl){

        headerGatherer <- basicHeaderGatherer()
        html <- getURI(theUrl, headerfunction = headerGatherer$update, curl = curlHandle)
        heatherValue <- headerGatherer$value()

        if ( heatherValue["status"] == "200" ){

            doc <- htmlParse(html)
            tryCatch
            (
                {
                    ## Here I get all the info that I need from the web and write it on a file.
                    ## here is a simplification
                    info1 <- xpathSApply(doc, xPath.info1, xmlValue)
                    info2 <- xpathSApply(doc, xPath.info2, xmlValue)
                    data <- data.frame(col1 = info1, col2=info2)
                    write.table(data, file=data_file , sep=";", row.names=FALSE, col.names=FALSE, append=TRUE)
                }, error= function(e)
                {
                    ## LOG ERROR
                }
            )
            rm(info1, info2, data, doc)
        }else{
            ## LOG INFO
        }
        rm(headerGatherer,html,heatherValue)
            cat("\n",getTime(),"\t[INFO]\t\t memory used: ", memory.size()," MB", file=log_file)
            gc()
            cat("\n",getTime(),"\t[INFO]\t\t memory used after gc(): ", memory.size()," MB", file=log_file)
    }

即使我使用rm()删除所有内部变量并使用gc()，内存也会不断增长。我从网上得到的所有html似乎都保存在内存中。

这是我的会话信息：

> sessionInfo()
R version 3.2.0 (2015-04-16)
Platform: i386-w64-mingw32/i386 (32-bit)
Running under: Windows XP (build 2600) Service Pack 3

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] RCurl_1.95-4.6 bitops_1.0-6   RJDBC_0.2-5    rJava_0.9-6    DBI_0.3.1     
[6] XML_3.98-1.1  

loaded via a namespace (and not attached):
[1] tools_3.2.0

--------------------编辑2015-06-08 ------------------ -

我仍然遇到问题，但我在其他帖子上发现了同样的问题，显然已经解决了。

Serious Memory Leak When Iteratively Parsing XML Files

Answer 1

使用XML包时，您需要使用free()来释放由htmlParse()（或在C级别分配内存的任何其他html解析函数）分配的内存。一旦我不再需要html文档，我通常会调用free(doc)。

因此，在您的情况下，我会尝试在您的函数free(doc)之前将rm(info1, info2, data, doc)放在自己的行上，如下所示：

free(doc)
rm(info1, info2, data, doc)

事实上，拨打free()可能足以让您完全删除rm()来电。

Answer 2

我使用htmlParse有一个相关的问题。在10,000次迭代完成之前，导致Windows崩溃（内存不足）。

答案：除了free / remove之外 - 每隔n次迭代做一次垃圾收集gc（）（如Serious Memory Leak When Iteratively Parsing XML Files中所建议的那样）

内存使用量持续增长直至崩溃

--------------------编辑2015-06-08 ------------------ -

2 个答案: