由于某种原因,在训练后立即评估BERT测试集与从已保存的检查点加载时,我得到的BERT和测试集会有很大的不同。我以为这可能是我对BERT的改编,所以我尝试尽可能少地修改run_classifier.py脚本以适合我的用例,但我仍然遇到这个问题。
我能想到的唯一原因是模型无法正确加载,但是我不知道如何解决。我相信我正在加载最初的意图。对于init_checkpoint参数,我传递了path / to / classifier / model.ckpt- {last_step}。有三个模型文件(元,索引,数据),但也有检查点,事件和图形文件。我是否还需要对其他三个文件进行处理?我已经习惯使用keras了,这种纯粹的张量流保存/加载过程对我来说似乎是不必要的麻烦。
预先感谢您对BERT或纯tf保存/加载的任何帮助/了解!如果您不熟悉BERT,请访问以下github链接:BERT GitHub