如何添加带有BERT检查点（768尺寸）的尺寸为128的CNN层？

Question

我正在尝试在现有的Google BERT模型架构的基础上添加CNN层，以微调SQUAD2.0数据集。

代码主要是run_squad.py，我在其中插入了Depthwise CNN 1D post Embedding层。

体系结构如下：

• 嵌入层（768暗）→
• 可深度分离的CNN（128暗）→
• 编码器（128暗）→跨度预测层。

问题是，当我使用BERT模型检查点时，它说尺寸不匹配，这很明显，因为该模型在BERT体系结构中隐藏了768尺寸。

如何在两者之间容纳CNN层？任何建议将不胜感激。