Question

我想使用Keras进行实时训练和预测设置。在我的场景中，我通过MQTT获得实时数据，该数据应该用于训练（LSTM）神经网络和/或将它们应用于获得预测。

我正在使用Tensorflow后端，支持GPU和相当强大的GPU容量，但在我的情况下，Keras并没有真正从GPU加速中获益。（我使用keras存储库中的示例进行了一些性能测试，以确保GPU加速一般工作）。在我的第一种方法中，我使用model.train_on_batch(...)方法来训练网络，每个项目都来自MQTT：

model = load_model()

def on_message(msg):
    """
    Method called by MQTT client each time new data comes in
    """

    if msg.topic == 'my/topic':
        X, Y = prepare_data(msg.payload)

        prediction = model.predict(X)
        loss = model.train_on_batch(X, Y)

        send_to_visualization_tool(prediction, loss)

此设置中的一个训练步骤大约需要200毫秒。但是，当我引入一个缓冲区，例如缓冲100个数据点，整批训练时间仅略有增加。这表明批量培训的设置时间有很大的开销。我还注意到，当使用1号批量时，CPU消耗非常高，而GPU根本就没用过。

作为替代方案，我现在引入了一个同步队列，MQTT客户端在数据进入时会推送数据，然后神经网络会批量处理所有数据，这是处理上一批时所带来的：

train_data_queue = Queue.Queue()

# MQTT client running in separate thread
def on_message(msg):
    train_data_queue.put(msg.payload)

model = load_model()

while True:
    train_data_batch = dequeue_all(train_data_queue)  # dequeue all items from queue
                                                      # or block until at least one
                                                      # item is present
    X, Y = prepare_data(train_data_batch)

    predictions = model.predict_on_batch(X)
    losses = model.train_on_batch(X, Y)

    send_to_visualization_tool(predictions, losses)

这种方法可行，但如果我能摆脱同步队列和多线程的额外复杂性，那将会很好。即得到第一个方法。

我的问题是：有没有办法减少一批培训的开销？例如。通过在纯张量流中重新实现模型？或者你能想到一个更好的方式来与Keras进行实时培训吗？

Answer 1

keras的性能应与原始张量流的性能大致相似，因此，我不建议您重写模型。

实际上，现代硬件用一个示例进行培训的时间通常与处理一批示例所需的时间相同，这就是为什么我们花费大量精力来整理事情。如果要使用tf.contrib.batching.batch_function，可以摆脱同步队列的复杂性，但是如果要获得额外的吞吐量，则仍然需要从许多线程中进行处理。

使用Keras进行实时培训和预测

1 个答案: