运行数据库连接的R Studio占用大量交换空间

时间:2019-06-28 08:22:10

标签: r jdbc impala dbi rjava

我在Linux服务器上安装的Rstudio上运行R代码

我在本地运行它,并且不需要太多内存。

但是,当我在服务器上运行它时,它占用了很多交换空间(几乎占据了100%)
我尝试获取的数据库很大,但并不是令人难以置信的大,如果我完全获取它,它就像2.5 G。

代码使用DBI,rJava和其他一些软件包连接到数据库并获取表。

library(DBI)

library(rJava)

library(RJDBC)

cp = c(list.files("~/libs2",pattern="jar$",full.names=T))

.jinit(classpath<-cp)

drv <- JDBC("com.cloudera.impala.jdbc4.Driver", "~/ImpalaJDBC4.jar")

connection <- dbConnect(drv, "jdbc:impala://***.***.***.***:*****/***", "", "") #sorry I can't put the parameter here, that is my company's database

但是它本身的交换空间为8 G,服务器的内存为128 G。

我可以在本地运行此代码,并且可以毫无问题地获取整个数据集,而我的本地RAM只有8 G。

有什么想法吗?

0 个答案:

没有答案