vespa - Vespa进程通常需要多长时间才能重新启动属性的mmap?

时间:2017-10-11 09:15:37

标签: vespa

在将索引的搜索定义编写为“属性”时 - 我从http://docs.vespa.ai/documentation/search-definitions.html读取它将字段保存在内存中。基本问题是:在集群重启的情况下,这个内存中的数据是从索引重建的吗?

在群集重启的情况下,Vespa需要多长时间来重建内存中的属性? (假设一个节点有2TB的数据,一半的字段被定义为“属性” - 对于mmap大约是1TB?)

1 个答案:

答案 0 :(得分:5)

属性数据需要在启动时从磁盘读入内存,所需的时间取决于:

  • 纯大小(例如,多值字符串与单字节字段)和文档/值的数量。
  • 属性设置(快速访问,快速搜索等),需要在原始属性数据之上构建额外的内存结构

所以答案真的是'它取决于'。

具有mode = index的vespa内容节点具有4个主目录,其中数据的属性数据与索引分开存储。属性目录包含snapshot-xx / * .dat文件,它们被读入内存到数据结构中(因此不使用文件支持的mmap)

ls /opt/vespa/var/db/vespa/search/cluster.x/n0/documents/x/0.ready/
attribute  documentmetastore  index  summary