我在Linux服务器上安装的Rstudio上运行R代码
我在本地运行它,并且不需要太多内存。
但是,当我在服务器上运行它时,它占用了很多交换空间(几乎占据了100%)
我尝试获取的数据库很大,但并不是令人难以置信的大,如果我完全获取它,它就像2.5 G。
代码使用DBI,rJava和其他一些软件包连接到数据库并获取表。
library(DBI)
library(rJava)
library(RJDBC)
cp = c(list.files("~/libs2",pattern="jar$",full.names=T))
.jinit(classpath<-cp)
drv <- JDBC("com.cloudera.impala.jdbc4.Driver", "~/ImpalaJDBC4.jar")
connection <- dbConnect(drv, "jdbc:impala://***.***.***.***:*****/***", "", "") #sorry I can't put the parameter here, that is my company's database
但是它本身的交换空间为8 G,服务器的内存为128 G。
我可以在本地运行此代码,并且可以毫无问题地获取整个数据集,而我的本地RAM只有8 G。
有什么想法吗?