使用超引擎调整Tensorflow的超参数

Question

我发现了超引擎python工具 https://github.com/maxim5/hyper-engine

仅使用mnist的示例。 https://github.com/maxim5/hyper-engine/tree/master/hyperengine/examples

如何提供我自己的数据，如下例所示： https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/5_DataManagement/build_an_image_dataset.ipynb

Answer 1

HyperEngine支持自定义数据提供程序，最接近的示例是this one：它从文本生成单词对，而不是图像，但API或多或少都清晰。基本上，您只需要实现next_batch方法：

def next_batch(self, batch_size):
  pass

因此，如果您想在磁盘上的一组映像上训练您的网络，您只需要在文件上编写一个迭代器，并在调用下一批时生成numpy数组。

但是有一个。目前，HyperEngine仅接受来自next_batch的 numpy数组。您引用的example正在使用TF队列API，而read_images函数正在生成张量，因此您无法简单地复制代码。希望能更好地支持各种tensorflow API，包括估算器，数据集API，队列等。