使用BILOU标签为spaCy注释句子

Question

我应该如何用BILOU标签注释（定义实体）以下句子？ 特别是，我应该如何处理附加在没有任何空格的单词上的特殊字符/标点符号，因为BILOU不提供字符位置？例如(Principal，(Co-investigator)，Dr.等。

  

博士。 MED。 XYZ DEF（首席研究员）XYZ ABC（共同研究员），医学博士。 XYZ RST（独立评估员）

我应该将(Principal视为单一实体吗？

Answer 1

对于BILOU标记，您需要预先标记化的文本。 <{1}}是一个或两个令牌取决于您的标记器，但它通常会被拆分。

以下是BILOU使用spaCy的默认英语模型和一些基本标签的示例：

(Principal

如果您正在使用spaCy，则可以指定具有训练数据字符范围的NER标签，这有助于标记器输入的变化。有关详细信息，请参阅training documentation。