使用Keras进行样式转移的微调

时间:2019-06-25 01:43:19

标签: conv-neural-network style-transfer

我正在开发一种样式转换应用程序,该应用程序经过优化,可将特定样式(在我的情况下为“玻璃状”外观)应用于特定类型的图像(在本例中为描绘人或建筑的黑白图像)。为此,我想用在ImageNet图像上预训练的权重来微调Keras模型(VGG16)。对于如何微调这样的模型,我有点困惑,因为我没有进行图像分类,因此面向特征的类似乎不太有用。我的想法是,我可以修复模型的最深层,并在更高层上使用Keras的“拟合”功能对我的模型进行额外的训练图像进行微调。我相信我的训练图像可以使用以下两类来区分期望和不期望的结果:“适当样式化”图像和“不适当样式化”图像。但是,由于ImageNet的5+类看上去与“适当的样式”和“不适当的样式”确实不同,因此我不确定这种方法是否有效,或者我是否有一些基本的误解。我突然想到,我可以微调仅描绘适当样式图像的图像集,而我的类别将与图像的主题相对应,例如cifar-10的10类,但会涉及适合我需要的图像更好(在主题和样式上)。这两种方法中的哪一种对我来说会更好?另外,我是在以正确的方式考虑这个问题,还是不能出于自己的目的使用Keras拟合函数(并且可能需要一种更类似的方法,例如对每个训练图像使用scipy.optimize来最小化从头开始的两个损失函数) 。谢谢。

0 个答案:

没有答案