Here我问过如何通过 while_loop 进行培训来解决开销问题（通过调用只有一次运行，可以多次评估 train_op ）。之后，我创建了4个线程并为每个线程运行一个 while_loop 以进行并行优化。 TensorFlow中是否存在用于此类并行优化的本机机制？
我使用Ftrl优化器。
谢谢！
编辑：
在我的情况下，我有大数据集，我在主线程中逐渐读取并入队到FIFOQueue。我使用批量优化和小批量的一个优化步骤（理想的只有一个元素）花费很少的时间（我使用线性模型），因为我想在一个运行调用中执行所有优化步骤，而不返回到每个步骤的python解释器（因为开销问题）。现在我调用run次数和线程数一样多。