训练TensorFlow修改图像

Question

我对培训TensorFlow模型修改图像的可能性感兴趣，但我不太清楚从哪里开始。几乎所有处理图像的示例/教程都是用于图像分类，但我认为我正在寻找一些不同的东西。

图像分类训练数据通常包括图像加上一组相应的分类标签，但我想的是一个图像加上一个＆＃34;成为＆＃34;作为＆＃34;标签＆＃34;的图像版本。这可能吗？它真的只是伪装的分类问题吗？

任何有关如何开始的帮助将不胜感激。此外，该解决方案不必使用TensorFlow，因此对备用机器学习库的任何建议也将受到赞赏。

例如，假设我们想训练TensorFlow在图片中的对象周围绘制圆圈。

示例入站图片：

标签/预期输出：

我怎么能做到这一点？

Answer 1

使模型生成/编辑图像的两种流行方式（我所知道的）是：

1. Deep Convolutional Generative Adversarial Networks
2. 通过预先训练的图像分类模型（以类似于深度梦的方式）的反向传播，但是您可以从最后一层开始反馈所需的标签，并且梯度下降应该仅应用于图像。以下课程详细介绍了这一点：CS231n（this lecture）

但我不认为他们适合围绕＆＃34; 3＆＃34;你给的例子。我认为对象检测和实例分割会更有帮助。检测您要查找的对象，通过分段提取其边界并对其进行后处理以制作您想要的圆（或任何其他形状）。

参考图片：Intro to Deep Learning for Computer Vision

Answer 2

我可以说，很难找到有关使用张量流进行图像修改的信息:(但请看一下：https://affinelayer.com/pix2pix/

根据我的理解，你做使用GAN，但是在训练期间用随机数据输入生成器的输入，你使用样本输入。