标签： deep-learning distributed-computing ssp
众所周知，一些分布式DL框架使用Stale Synchronous Parallel（SSP）来更新参数。在我看来，落后者通常使用陈旧版本的参数，因为它总是错过快速工作者生成的更新。然而，在纸张＆＃34;保持新鲜：快速分布式机器学习的推测同步＆＃34;，它说＆＃34;快速工作人员因此错过了这些机器的更新，并进入下一次迭代与陈旧版本的参数＆＃ 34 ;.对于落后者或快速工作者是否使用陈旧版本的参数，我有点困惑。请帮我回答这个问题。非常感谢：）