MemSQL列存储表磁盘与内存

时间:2017-07-09 22:03:11

标签: amazon-s3 memsql columnstore

我的群集有8个m3.2xlarge叶子节点(2x80 SSD,30GB RAM)。

关于我的数据:

  • 我有一个数据库
  • 我有一个columnstore表。
  • 我的数据位于第3页。
  • S3文件大小为250GB。
  • 数据分为40个6GB文件。

当我尝试将此数据加载到表中时,导入过程在加载大约60GB(10个文件)的数据后失败。此时,Leaf MemSQL内存几乎已满(212GB)。磁盘容量为1.64TB,但仅使用150GB左右。

据我所知,ColumnStore表驻留在磁盘中。如果是这样的话,为什么磁盘没有填满而叶子内存耗尽?

有几点需要注意:

  • 导入过程不断尝试处理其余文件并加载每个文件中的部分数据并失败。
  • 在8个叶子节点中,只有2个完全填满了内存(30GB中有27个)。其余的大约是17GB
  • 我使用cloudformation来设置集群,并设置所有参数 到默认值。

我的配置错误吗?

感谢任何帮助。

谢谢, 拉姆。

0 个答案:

没有答案