在多个天文表上使用vstack时如何避免内存爆炸

时间:2018-04-05 16:53:14

标签: python astropy

我需要通过合并许多较小的表来构建一个大的astropy表。我反复使用vstack作为bigTable = vstack([bigTable, smallTable]),但内存正在迅速爆发。 每个表通常为9列~1000行,经过5或6次迭代后,内存大于100 GB

1 个答案:

答案 0 :(得分:1)

感谢Christoph我找到了解决方案。我只需要使用列表立即对所有小表进行vstack。

from astropy.table import Table, vstack
catList = []
for ... :
   catList.append(cat)
bigCat = vstack(catList)

出于某些原因' vstacking'一张桌子本身效率很低