我正在尝试在联合学习场景中训练深度强化学习模型。 Tensorflow联合(TFF)是否支持强化学习(RL)作为ML模型?我了解联邦学习主要是针对有监督的学习而讨论的,我很好奇是否也可以在TFF中使用强化学习。
如果是的话,您建议在TFF中使用哪个库?
答案 0 :(得分:1)
简短的回答是,TFF可以在联邦核心API级别上支持强化学习;请注意,目前tff.learning中未实现RL(尽管我们欢迎这样的贡献)。从机器学习的角度来看,您可以将TFF视为TF之上的通信层,并且TF支持TFF的任何内容都可以支持。
我将尝试介绍长答案的一些关键功能:
首先,联邦强化学习在很大程度上是一个开放的研究问题。考虑到一般情况下训练RL模型的难度,我认为FL社区看到在联邦环境中训练的特工甚至可以重现经典的RL结果,我会感到非常兴奋,而看到TFF中实现的这种东西我们会感到非常兴奋。 >
第二,TFF通常支持任何基于TensorFlow的迭代学习过程,尤其是基于梯度的学习。可以想象在联合环境中为RL建模的许多可能方法。 TFF支持传递任何类型的更新,因此就联邦RL TFF可以支持的 实例化而言,天空是极限。
最后,我认为也许开始在TFF中实现RL的地方仅仅是在模块化TensorFlow中实现RL。您选择的RL联合模型中必须发生的任何通信都必须在TFF中的TensorFlow之间编写。如果您实施例如您的演员和评论家使用tf.function模块化,在@tff.federated_computation
装饰器中实现所需的通信应该相对简单。有关将TF和TFF代码混合使用的建议,请参见TFF的主要作者this post。