如何为图像检索应用程序（CBIR）的庞大数据集存储大型特征向量？

Question

我正在构建一个CBIR应用程序。我正在使用从深度内容中提取的功能。特征向量非常大（大约100,000个）。数据集有超过10k的图像。  我已经完成了对 this problem的回答，并且我不想使用同一个中提到的库。

我尝试使用cPickle和hdf5来存储特征向量。我在拥有4GB RAM和2Ghz Intel Core i3处理器的PC上运行它。

以下代码构建索引：

h = h5py.File(index_file, 'w')
for imagePath in glob.glob(args["dataset"] + "/*.*"):
    # extract our unique image ID (i.e. the filename)
    k = imagePath[imagePath.rfind('/') + 1:]
    features = get_features(imagePath, args["layer"])
    h.create_dataset(k, data=features)

每当我运行程序为我的图像数据集构建索引时，我都会收到错误＆＃34; Python.exe已停止工作 ＆＃34;在创建了大约16MB的索引文件之后。 我是hdf5的新手，答案可能微不足道，但任何帮助都会深深感激。