准备使用Bert在完善下游任务之前，让我们从关于NLP的一些一般性问题开始，说这是为了强调Bert的普遍性。通常，大多数NLP问题属于上图所示的四种类型的任务：
一种类型是序列标记。这是最典型的NLP任务。例如，中文分词，词性标记，命名实体识别，语义角色标记等可以归为此类问题。它的特点是句子模型中每个单词的要求。上下文必须提供分类类别。
第二个类别是分类任务，例如我们常见的文字分类，情感计算等都可以分类到这个类别中。它的特点是，无论文章有多长，通常都会给它一个分类类别。
第三种任务是句子关系判断。例如，Entailment，QA，语义重写，自然语言推理和其他任务都是该模型。它的特点是给定两个句子，该模型判断两个句子是否具有某种语义关系。
第四类是生成任务，例如机器翻译，文本摘要，写诗，阅读图片等。其特点是需要在输入文本内容后自动生成另一段文本。
前三个任务非常常见，现在我想在第四个任务中执行图像标题任务。我的常规实现基于密集帽：A Hierarchical Approach for Generating Descriptive Image Paragraphs。 the code is here