Question

我需要随机生成合成内存数据（以pandas DataFrame的形式），以馈送到分布在多个参数服务器和工作程序上的TensorFlow Estimator。我该如何实现？哪个服务器应该负责生成数据，如何将它们传递给其他服务器？按照这些思路行事吗？

def main(_):
    ps_hosts = FLAGS.ps_hosts.split(",")
    worker_hosts = FLAGS.worker_hosts.split(",")
    #Create a cluster from the parameter server and worker hosts.
    cluster = tf.train.ClusterSpec({"ps": ps_hosts, "worker": worker_hosts})
    #Create and start a server for the local task.
    server = tf.train.Server(cluster, job_name=FLAGS.job_name, task_index=FLAGS.task_index)

    if FLAGS.job_name == "ps":
        server.join()
    elif FLAGS.job_name == "worker":
        if FLAGS.task_index==0:
            train_data, train_labels = generate_synthetic_data()
            eval_data, eval_labels = generate_synthetic_data()
            test_data, test_labels  = generate_synthetic_data()

    with tf.device(tf.train.replica_device_setter( worker_device="/job:worker/task:%d" % FLAGS.task_index, cluster=cluster)):

        # Run training
        train_and_evaluate()

if __name__ == "__main__":
    tf.app.run(main=main, argv=[sys.argv[0]])

或者类似地，在这里 https://www.tensorflow.org/tutorials/estimators/linear#overview他们创建了两个熊猫数据帧，然后将其馈送到估算器。该代码将如何并行化？

Answer 1

TF估计器当前不容易支持单个共享输入管道。而是每个工人都有自己独立的输入管道，以最大化吞吐量。

因此，在每个工作线程中生成一个单独的综合数据帧。

具有内存数据的分布式TensorFlow

1 个答案: