在尝试使用GridDataLoader将数据上传到Gridgain时,我正在
'Write timed out (socket was concurrently closed).'
我尝试在具有13个节点(16个核心cpu)的群集上使用.csv文件加载1000万行数据。
我的GridDataLoader的结构是GridDataLoader,其中Key是一个复合键。使用原始数据类型作为密钥时没有问题。但当我将其更改为复合键时,此错误即将发生。
答案 0 :(得分:0)
我想这是因为当它试图解析你的csv并创建条目时,它在堆上占用了太大的空间。因此,如果您没有将堆大小配置得足够大,那么您可能会遇到GC暂停,因为当GC启动时,所有内容都必须暂停,这就是为什么您有这个超时错误的原因。我认为如果您可以将大型csv分解为较小的文件并逐个加载它们可能会有所帮助。