我对分发我的 DNN 模型的训练很感兴趣。但是，我对通过 AWS S3 而不是通过本地网络进行通信感兴趣。为什么？我有一个基于 Hashicorp Nomad 的很棒的批处理/异步计算集群设置。如果我可以通过简单地创建新的批处理作业（例如，每个子样本/小批量的作业）来分发模型训练并将其添加到 Nomad 作业队列并允许集群自动扩展以承担工作，我会很高兴并将其发送回主参数服务器。所以我想我是想避免需要预先知道所有机器、它们的网络身份等。更多的是一种无服务器方法。
我已经在使用批量计算作业来进行必要的预处理和一些有限的特征提取，但是分布式训练是否可以作为工作队列中工作人员数量不断变化的工作？
这真的是一回事吗？还是因为通过 S3 之类的东西交换数据的开销而这是一个坏主意？我目前专注于 TensorFlow，但我们在项目切换框架方面还为时过早。