Question

我对生成网络很陌生，我决定在看到代码之前先自己尝试一下。这些是我用来训练我的GAN的步骤。

[lib：tensorflow]

1）在数据集上训练一个鉴别器。（我使用了2个功能的数据集，其标签为“介入＆＃39;或者不是冥想＆＃39;，数据集：https://drive.google.com/open?id=0B5DaSp-aTU-KSmZtVmFoc0hRa3c”

2）一旦训练了鉴别器，保存它。

3）使用另一个前馈网络（或任何其他网络，取决于您的数据集）创建另一个文件。这个前馈网络是发电机。

4）构建发生器后，恢复鉴别器并为发生器定义一个损失函数，使其学会欺骗鉴别器。（这并没有在tensorflow中工作，因为sess.run（）没有返回tf张量，G和D之间的路径中断，但应该从头开始工作）

d_output = sess.run(graph.get_tensor_by_name('ol:0'), feed_dict={graph.get_tensor_by_name('features_placeholder:0'): g_output})
print(d_output)

optimize_for = tf.constant([[0.0]*10]) #not meditating

g_loss = -tf.reduce_mean((d_output - optimize_for)**2)

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(g_loss)

为什么我们不训练这样的发电机？这似乎更简单。这是真的我无法设法在张量流上运行它，但如果我从头开始这应该是可能的。

完整代码：

鉴别：

import pandas as pd
import tensorflow as tf
from sklearn.utils import shuffle

data = pd.read_csv("E:/workspace_py/datasets/simdata/linear_data_train.csv")

learning_rate = 0.001
batch_size = 1
n_epochs = 1000
n_examples = 999 # This is highly unsatisfying >:3
n_iteration = int(n_examples/batch_size)


features = tf.placeholder('float', [None, 2], name='features_placeholder')
labels = tf.placeholder('float', [None, 1], name = 'labels_placeholder')

weights = {
            'ol': tf.Variable(tf.random_normal([2, 1]), name = 'w_ol')
}

biases = {
            'ol': tf.Variable(tf.random_normal([1]), name = 'b_ol')
}

ol = tf.nn.sigmoid(tf.add(tf.matmul(features, weights['ol']), biases['ol']), name = 'ol')

loss = tf.reduce_mean((labels - ol)**2, name = 'loss')

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

sess = tf.Session()
sess.run(tf.global_variables_initializer())

for epoch in range(n_epochs):
    ptr = 0
    data = shuffle(data)
    data_f = data.drop("lbl", axis = 1)
    data_l = data.drop(["f1", "f2"], axis = 1)

    for iteration in range(n_iteration):
        epoch_x = data_f[ptr: ptr + batch_size]
        epoch_y = data_l[ptr: ptr + batch_size]
        ptr = ptr + batch_size

        _, lss = sess.run([train, loss], feed_dict={features: epoch_x, labels:epoch_y})
    print("Loss @ epoch ", epoch, " = ", lss)

print("\nTesting...\n")

data = pd.read_csv("E:/workspace_py/datasets/simdata/linear_data_eval.csv")
test_data_l = data.drop(["f1", "f2"], axis = 1)
test_data_f = data.drop("lbl", axis = 1)
print(sess.run(ol, feed_dict={features: test_data_f}))
print(test_data_l)

print("Saving model...")
saver = tf.train.Saver()
saver.save(sess, save_path="E:/workspace_py/saved_models/meditation_disciminative_model.ckpt")
sess.close()

发电机：

import tensorflow as tf

# hyper parameters

learning_rate = 0.1
# batch_size = 1
n_epochs = 100

from numpy import random
noise = random.rand(10, 2)
print(noise)

# Model

input_placeholder = tf.placeholder('float', [None, 2])

weights = {
            'hl1': tf.Variable(tf.random_normal([2, 3]), name = 'w_hl1'),
            'ol': tf.Variable(tf.random_normal([3, 2]), name = 'w_ol')
}

biases = {
            'hl1': tf.Variable(tf.zeros([3]), name = 'b_hl1'),
            'ol': tf.Variable(tf.zeros([2]), name = 'b_ol')
}

hl1 = tf.add(tf.matmul(input_placeholder, weights['hl1']), biases['hl1'])
ol = tf.add(tf.matmul(hl1, weights['ol']), biases['ol'])

sess = tf.Session()
sess.run(tf.global_variables_initializer())

g_output = sess.run(ol, feed_dict={input_placeholder: noise})

# restoring discriminator

saver = tf.train.import_meta_graph("E:/workspace_py/saved_models/meditation_disciminative_model.ckpt.meta")
saver.restore(sess, tf.train.latest_checkpoint('E:/workspace_py/saved_models/'))

graph = tf.get_default_graph()

d_output = sess.run(graph.get_tensor_by_name('ol:0'), feed_dict={graph.get_tensor_by_name('features_placeholder:0'): g_output})
print(d_output)

optimize_for = tf.constant([[0.0]*10])

g_loss = -tf.reduce_mean((d_output - optimize_for)**2)

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(g_loss)

Answer 1

鉴别器的目的不是对原始数据进行分类，或者真正区分原始数据。其唯一目的是将发电机的输出与原始输出区分开来。

想想一个艺术伪造者的例子。您的数据集都是原创绘画。你的发电机网络G是一个艺术伪造者，你的鉴别家D是一个侦探，其生活中唯一的目的是找到G制造的伪造品。

通过观看原创画作，D不能学到很多东西。对他来说真正重要的是找出G的伪造与其他所有东西的区别。如果他的所有作品都被D发现并标记为G，G就不能出售伪造品的任何钱，所以他必须学会如何阻止D。

这创造了一个环境，G不断尝试让他的作品看起来更像“原创艺术品”，并且D不断变得更好地发现G的伪造风格的细微差别。 D越好，G就越需要谋生。他们每个人的任务都会变得更好，直到他们（理论上）达到由网络的复杂性和他们试图伪造的数据所定义的纳什均衡。

这就是为什么D需要与G来回训练的原因，因为它需要知道并适应G的特殊细微差别（随着G的学习和适应而随着时间的推移而变化），而不只是找到一些“不是”的平均定义。伪造的”。通过专门制作D狩猎G，你迫使G成为一个更好的伪造者，从而最终得到一个更好的发电机网络。如果你只训练D一次，那么G可以学习一些简单，明显，不重要的方法来击败D并且从来没有真正产生过非常好的伪造。

为什么不训练这样的GAN呢？

1 个答案: