我想使用深度学习技术来执行比隐马尔可夫模型（浅模型）更好的推理任务？我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型（HMM）？该设置是半监督的。训练数据X（t），Y（t）是时间序列，具有显着的时间相关性。此外，存在大量未标记的数据，即简单地X（t）和没有Y（t）。在阅读了很多论文后，我缩小了以下模型 - ＆gt;有条件限制的玻尔兹曼机器（Ilya Sustkever MS论文）并使用Deep Belief Networks进行无人监督的预训练（或使用变分自动编码器进行预训练）。我对这个领域很新，并且想知道这些技术是否已经过时了。
答案 0 :(得分：2)
＆＃34;我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型（HMM）＆＃34;
目前，基于RNN（递归神经网络）和LSTM（长期短期记忆）的DNN是最先进的。它们是从命名实体识别（https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition-NER/answer/Rahul-Vadaga），解析（https://arxiv.org/pdf/1701.00874.pdf）到机器翻译（https://arxiv.org/pdf/1609.08144.pdf）开始的许多测序问题的最佳选择。 这些DNN也称为序列模型（例如seq2seq，其中输入和输出是机器翻译之类的序列）
＆＃34;无人监督预训练＆＃34;
预训练不再受欢迎（对于受监督的ML问题），因为使用随机重启和并行化可以获得相同的结果，因为你现在拥有更多（和更便宜）的CPU。
[后面添加了以下内容]
最近的一篇论文（用于序列标记任务的深LSTM网络的最佳超参数 作者：Nils Reimers和Iryna Gurevych对各种常见NLP任务的seq2seq进行了很好的比较：https://arxiv.org/pdf/1707.06799.pdf
绝对值得一读。