我试图想象二维数据如何变换和“弯曲”#34;因为它通过神经网络的层。仿射变换和平移很容易,但是可视化激活函数(例如tanh或逻辑函数)如何将2D空间弯曲成曲线网格更具挑战性。
为了明白我的意思,克里斯·奥拉在他的帖子Neural Networks, Manifolds, and Topology中完成了这一点。
你们中的任何人都知道怎么做吗?
答案 0 :(得分:1)
我最终得到了以下解决方案:
首先,我使用NumPy linspace
函数指定了常规2D网格:
x_range = range(-5,6)
y_range = range(-5,6)
lines = np.empty((len(x_range)+len(y_range), 2, 100))
for i in x_range: # vertical lines
linspace_x = np.linspace(x_range[i], x_range[i], 100)
linspace_y = np.linspace(min(y_range), max(y_range), 100)
lines[i] = (linspace_x, linspace_y)
for i in y_range: # horizontal lines
linspace_x = np.linspace(min(x_range), max(x_range), 100)
linspace_y = np.linspace(y_range[i], y_range[i], 100)
lines[i+len(x_range)] = (linspace_x, linspace_y)
然后,我在网格上执行了任意仿射变换。 (这模仿了神经网络中激活和权重之间的向量矩阵乘法。)
def affine(z):
z[:, 0] = z[:, 0] + z[:,1] * 0.3 # transforming the x coordinates
z[:, 1] = 0.5 * z[:, 1] - z[:, 0] * 0.8 # transforming the y coordinates
return z
transformed_lines = affine(lines)
最后但并非最不重要的是,使用构成网格中每一行的(现在已转换的)坐标,我应用了非线性函数(在本例中为逻辑函数):
def sigmoid(z):
return 1.0/(1.0+np.exp(-z))
bent_lines = sigmoid(transformed_lines)
使用matplotlib绘制新行:
plt.figure(figsize=(8,8))
plt.axis("off")
for line in bent_lines:
plt.plot(line[0], line[1], linewidth=0.5, color="k")
plt.show()
结果: