Tensorflow联合支持强化学习吗

时间:2019-03-30 05:03:39

标签: tensorflow-federated

我正在尝试在联合学习场景中训练深度强化学习模型。 Tensorflow联合(TFF)是否支持强化学习(RL)作为ML模型?我了解联邦学习主要是针对有监督的学习而讨论的,我很好奇是否也可以在TFF中使用强化学习。

如果是的话,您建议在TFF中使用哪个库?

1 个答案:

答案 0 :(得分:1)

简短的回答是,TFF可以在联邦核心API级别上支持强化学习;请注意,目前tff.learning中未实现RL(尽管我们欢迎这样的贡献)。从机器学习的角度来看,您可以将TFF视为TF之上的通信层,并且TF支持TFF的任何内容都可以支持。

我将尝试介绍长答案的一些关键功能:

首先,联邦强化学习在很大程度上是一个开放的研究问题。考虑到一般情况下训练RL模型的难度,我认为FL社区看到在联邦环境中训练的特工甚至可以重现经典的RL结果,我会感到非常兴奋,而看到TFF中实现的这种东西我们会感到非常兴奋。 >

第二,TFF通常支持任何基于TensorFlow的迭代学习过程,尤其是基于梯度的学习。可以想象在联合环境中为RL建模的许多可能方法。 TFF支持传递任何类型的更新,因此就联邦RL TFF可以支持的 实例化而言,天空是极限。

最后,我认为也许开始在TFF中实现RL的地方仅仅是在模块化TensorFlow中实现RL。您选择的RL联合模型中必须发生的任何通信都必须在TFF中的TensorFlow之间编写。如果您实施例如您的演员和评论家使用tf.function模块化,在@tff.federated_computation装饰器中实现所需的通信应该相对简单。有关将TF和TFF代码混合使用的建议,请参见TFF的主要作者this post