张量流中的FTRL优化器似乎无法正常运行

Question

试图通过带有ctrl任务的FTRL优化器通过tensorflow在大规模数据集上训练LR模型。 tensorflow / sklearn auc和训练/评估auc都可以。但是产品性能不好。我试图降低分布式级别，但问题无法完全解决。有什么建议么？

Answer 1

发现至少两个原因：

首先是基础实现与原始文件不完全相同。我不知道他们为什么要这么做，需要解释。

第二，用于更新权重的梯度是批梯度，这意味着每批更新一次ps权重（在现代分布式系统中非常琐碎，但不适用于原始论文中的场景），总之，它没有利用训练数据记录。就个人而言，第二点是关键。