Question

我正在使用RStan从大量高斯过程（GP）中进行采样，即使用函数stan（）。对于我适合的每个GP，可以通过运行R命令

来加载另一个DLL

getLoadedDLLs()

我遇到的问题是，因为我需要适应这么多独特的GP，我超过了可以加载的最大DLL数量，此时我收到以下错误：

Error in dyn.load(libLFile) : 
unable to load shared object '/var/folders/8x/n7pqd49j4ybfhrm999z3cwp81814xh/T//RtmpmXCRCy/file80d1219ef10d.so':
maximal number of DLLs reached...

据我所知，这是在基本R代码的Rdynload.c中设置的，如下所示：

#define MAX_NUM_DLLS 100

所以，我的问题是，可以采取哪些措施来解决这个问题？使用较大的MAX_NUM_DLLS从源代码构建R不是一个选项，因为我的代码将由不熟悉该过程的协作者运行。我尝试过使用dyn.unload（）卸载DLL的天真方法，希望在需要时再重新加载它们。卸载工作正常，但当我尝试再次使用适合时，R毫不奇怪地崩溃，出现如下错误：

*** caught segfault ***
address 0x121366da8, cause 'memory not mapped'

我也尝试分离RStan，希望DLL能够自动卸载，但是即使在卸载软件包之后它们仍然存在（正如预期的那样，在分离帮助中给出以下内容：“分离通常不会卸载任何动态加载的编译代码（DLL）“）。

从这个问题，Can Rcpp package DLLs be unloaded without restarting R?，似乎library.dynam.unload()可能在解决方案中有一些作用，但我没有成功使用它来卸载DLL，我怀疑在卸载后DLL我遇到了和以前一样的段错误。

编辑：添加一个最小的，功能齐全的示例：

R代码：

require(rstan)

x <- c(1,2)
N <- length(x)

fits <- list()
for(i in 1:100)
{
    fits[i] <- stan(file="gp-sim.stan", data=list(x=x,N=N), iter=1, chains=1)
}

此代码要求以下模型定义位于文件gp-sim.stan中的工作目录中（此模型是Stan中包含的示例之一）：

// Sample from Gaussian process
// Fixed covar function: eta_sq=1, rho_sq=1, sigma_sq=0.1

data {
  int<lower=1> N;
  real x[N];
}
transformed data {
   vector[N] mu;
   cov_matrix[N] Sigma;
   for (i in 1:N) 
     mu[i] <- 0;
   for (i in 1:N) 
     for (j in 1:N)
       Sigma[i,j] <- exp(-pow(x[i] - x[j],2)) + if_else(i==j, 0.1, 0.0);
 }
 parameters {
   vector[N] y;
 }
 model {
   y ~ multi_normal(mu,Sigma);
 }

注意：此代码需要相当长的时间才能运行，因为它创建了~100个Stan模型。

Answer 1

我无法代表有关dll的问题，但您不应该每次都要编译模型。您可以编译模型一次并重复使用它，这不会导致此问题，它将加快您的代码。

函数stan是stan_model的包装器，用于编译模型和从模型中提取样本的sampling方法。您应该运行stan_model一次以编译模型并将其保存到对象，然后使用该对象上的sampling方法绘制样本。

require(rstan)

x <- c(1,2)
N <- length(x)

fits <- list()
mod <- stan_model("gp-sim.stan")
for(i in 1:100)
{
    fits[i] <- sampling(mod, data=list(x=x,N=N), iter=1, chains=1)
}

这类似于在Rstan wiki中讨论的运行并行链的问题。您的代码可以通过用并行处理采样的东西替换for循环来加速。

Answer 2

这是我用来连续运行几个stan模型的东西（Win10，R 3.3.0）。

我不仅需要卸载dll文件，还要删除它们和其他临时文件。然后，我的文件名与stan对象中的文件名不同，正如Ben建议的那样。

 dso_filenames <- dir(tempdir(), pattern=.Platform$dynlib.ext)
  filenames  <- dir(tempdir())
  for (i in seq(dso_filenames))
    dyn.unload(file.path(tempdir(), dso_filenames[i]))
  for (i in seq(filenames))
    if (file.exists(file.path(tempdir(), filenames[i])) & nchar(filenames[i]) < 42) # some files w/ long filenames that didn't like to be removeed
      file.remove(file.path(tempdir(), filenames[i]))

超过R中的最大DLL数

2 个答案: