Question

我有一个非常大的数据库 - 我正在使用一个350米行的子集，但最终它将是大约3b行。我的全部目标是在这个数据库上优化特定类型的查询，但代价是除了内存以外的所有内容。我正在使用的db文件在PyTables版本2.3.1上使用blosc在1级压缩（我可以更新，如果这会有帮助的话）。每行有十三个条目 - 典型条目如下：

['179', '0', '1', '51865852', '51908076', '42224', '22', '2', '20', '22', '2', '0.0516910530103', '0.0511359922511']

它们都是数字，但不一定是同一类型。我目前正在将它们存储在PyTables表中，其定义如下：

ind = tables.UInt16Col(pos=0)
hap = tables.UInt8Col(pos=1)
chrom = tables.UInt8Col(pos=2)
hap_start = tables.Int32Col(pos=3)
hap_end = tables.Int32Col(pos=4)
hap_len = tables.Int16Col(pos=5)
mh_sites = tables.Int16Col(pos=6)
mh_alt = tables.Int16Col(pos=7)
mh_n_ref = tables.Int16Col(pos=8)
all_sites = tables.Int16Col(pos=9)
all_alt = tables.Int16Col(pos=10)
freq = tables.Float32Col(pos=11)
std_dev = tables.Float32Col(pos=12)

我真的不在乎设置这个数据库需要多长时间 - 我最终会创建它一次然后只是访问它。我的查询形式如下：

a = [ x[:] for x in hap_table.where('''(mh_sites == 15) & (hap_len > 25000) & (hap_len < 30000) & (freq > .38) & (freq < .4) & (std_dev > .3) & (std_dev < .4)''')]

基本上我正在搜索与给定容差周围的特定行匹配的条目。在我较小的数据库（350米行）上，如果我索引了我正在搜索的所有四列，该查询需要38秒：

byteorder := 'little'
chunkshape := (32768,)
autoIndex := True
colindexes := {
  "hap_len": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "freq": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "std_dev": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "mh_sites": Index(6, medium, shuffle, zlib(1)).is_CSI=False}

如果我事先没有索引，那么

和10秒。我不确定我理解为什么索引数据库上的查询速度较慢..也许索引会产生不必要的开销？

就像我说的，我的目标是尽可能地优化这种类型的查询 - 基本上除了内存使用之外的所有内容（我想使用大约2G，并且真的不想使用超过5G左右））。我试过索引，它似乎不起作用。我的所有查询都是mh_sites的单个值，并且只有大约100个可能的值，所以我考虑将它分成多个表，所以我只是在任何时候搜索数据的一个子集（尽管我除了mydata.root.table_1，mydata.root.table_2等之外，我不完全确定如何做到这一点。我还想过尝试将它存储为数组 - 也许是一个浮点数组，然后当我需要使用它们时将其他所有内容转换为int？如果它有所不同，我的查询通常会返回20k到500k的结果。

有关优化此查询的任何建议吗？

Answer 1

我想出了如何更快地完成这项工作 - 我的解决方案可以帮助其他人，所以我在这里发布。

我对PyTables中的索引如何工作感到困惑。我认为CSI实际上会对数据进行排序，但事实并非如此 - 一旦你附加了一组行，它们总是按顺序。对我来说，在插入数据之前对数据进行排序是非常值得的。我的查询时间减少了1-2个数量级。

这也解释了为什么索引表实际上增加了查询时间 - 因为行基本上是随机分布的，我需要为每个查询读取整个数据库。因此，如果pytables可以使用索引来确定哪些块是必需的，那么无关紧要，因为它无论如何都需要读取所有块。因此，当数据未排序时，索引只是增加了开销。使用排序表，索引肯定有帮助。

在pytables中优化复杂的table.where（）查询？

1 个答案: