来自https://github.com/google/deepdream/blob/master/dream.ipynb
def objective_L2(dst): # Our training objective. Google has since release a way to load
dst.diff[:] = dst.data # arbitrary objectives from other images. We'll go into this later.
def make_step(net, step_size=1.5, end='inception_4c/output',
jitter=32, clip=True, objective=objective_L2):
'''Basic gradient ascent step.'''
src = net.blobs['data'] # input image is stored in Net's 'data' blob
dst = net.blobs[end]
ox, oy = np.random.randint(-jitter, jitter+1, 2)
src.data[0] = np.roll(np.roll(src.data[0], ox, -1), oy, -2) # apply jitter shift
net.forward(end=end)
objective(dst) # specify the optimization objective
net.backward(start=end)
g = src.diff[0]
# apply normalized ascent step to the input image
src.data[:] += step_size/np.abs(g).mean() * g
src.data[0] = np.roll(np.roll(src.data[0], -ox, -1), -oy, -2) # unshift image
if clip:
bias = net.transformer.mean['data']
src.data[:] = np.clip(src.data, -bias, 255-bias)
如果我理解正确的操作,net.blobs['data']
中的输入图像会插入到NN中,直到图层end
。一旦前向传递完成,直到end
,它会计算" off" end
的blob来自"某事"。
问题
这是什么"东西"?是dst.data
吗?我逐步调试一个调试器,发现dst.data
在赋值后只是一个零矩阵,然后在向后传递后填充了值。
无论如何,假设它找到" off"正向传递的结果是,为什么它试图向后传播?我认为深度梦想的重点不是进一步训练模型,而是变形"将输入图像转换为原始模型的图层所代表的内容。
src.data[:] += step_size/np.abs(g).mean() * g
究竟做了什么?似乎将上面所做的任何计算应用于原始图像。这条线实际上是"变形"图像?
我已阅读的链接
我会对
所接受答案的作者感兴趣我们采用原始图层blob和"增强"信号在里面。什么 这是不是意味着,我不知道。也许他们只是乘以数值 系数,也许别的什么。
在此博客文章中,作者在src.data[:] += step_size/np.abs(g).mean() * g
旁边发表评论:"更接近我们的目标数据。"我不太清楚"目标数据"在这里意味着。