我正在训练一条具有两条路径的网络，每条路径都包含几个转换层。一个路径属于视频输入，另一路径属于音频输入。在某些时候，我混合了功能，然后将其他一些转换层和完全连接的层应用于网络的输出。
我想定义两个单独的损失函数：即将混合音频和视频功能之前的loss1和在输出端的loss2。问题在于每个优化功能的标签都不同。
我有一个用于混合层的两类标签，用于指示视频和音频是否匹配，而在网络末端的另一两类标签用于指示视频中的某些操作。
关于如何定义我的两个损失函数，优化器和在张量流中训练网络的任何建议？请注意，尽管标签和丢失功能不同，但是大多数网络都是相同的。
谢谢