为什么我不能用pytorch重新实现我的Tensorflow模型？

Question

我正在开发张量流模型，并发现对我的特定评估方法有好处。但是当我转移到pytorch时，无法获得相同的结果。我检查了模型体系结构，权重初始化方法，lr计划，权重衰减，BN层中使用的动量和epsilon，优化器以及数据预处理。一切都一样。但是我无法获得与张量流相同的结果。有人遇到过同样的问题吗？

Answer 1

我最近做了类似的转换。

首先，您需要确保前向路径产生相同的结果：禁用所有随机性，使用相同的值进行初始化，为其提供很小的输入并进行比较。如果存在差异，请禁用部分网络并一一比较启用层。

确认前进路径后，检查一个前进后退周期后的损耗，坡度和更新。