我正在研究一种NLP深度学习模型，希望该模型与人类没有区别，但是，嘿，谁不想这么做？因此，让我们走之前，我们可以跑步。我关注的首要任务是意图识别和插槽填充/实体识别。
我创建了一个模型，该模型通过在BERT上拍几个密集层而在意图识别方面表现出色。现在，我想从输入文本中检索信息，首先以分类形式，但后来可能以更动态的形式。
对于我来说，当前的插槽填充方法不够动态。它实际上并没有检索值，只是掩盖了它识别的与插槽无关的值。我更喜欢一个可以从文本生成答案的模型，并给出了用自然语言描述的广告位说明。 （可选）我还可以提供可能给出的答案。
输入：用户说：'我希望墙壁是绿色的'
输入：插槽说明：“墙壁的颜色”
输入：可能的输出：“绿色，蓝色，红色，黄色”
输出-插槽值：“绿色”
###########################################
输入：用户说：“我希望婚礼上有独角兽”
输入：位置描述：“婚礼上是否应该有独角兽”
输入：可能的输出：“ True，False”
输出-广告位值：“ True”
请注意，输出“ True”永远不会出现在输入语音中。我希望模型能够生成它。
首先，我尝试向BERT / XLnet / ELECTRA / RoBERTa输入以下连接的输入：
[CLS] User Utterance [SEP] Slot description [SEP] Possible Outputs [SEP]
并通过一个密集层尝试将“可能的输出”与一个热编码的矢量进行匹配，该矢量的1将是正确的输出。这进展不顺利，我只能达到约54％的准确度。这让我想知道这是否完全有可能？
我对NLP还是陌生的，所以我不确定哪种技术能够做到这一点。您如何制作像BERT这样的预训练模型来生成文本？我猜想在它的末尾放置一些密集的层是没有用的。您需要变压器解码器吗？
撰写本文的人：https://arxiv.org/pdf/1912.09297v2.pdf似乎能够做到，但是他们没有发布代码，也没有提供足够的细节。
你们怎么看？