小型训练套件无法训练(微调)BERT

时间:2019-03-06 02:47:00

标签: nlp word-embedding

我正在尝试在BERT中训练具有1个上下文和1个答案的train.json,但出现以下错误。

_lr_this_step = args.learning_rate * warmup_linear(global_step/t_total, args.warmup_proportion)
ZeroDivisionError: division by zero_

经过1个上下文和5个答案的训练后,可以避免该错误,但是我看不到从BERT获得的答案的任何变化。请对此提供帮助,并让我知道是否有人尝试过这种微调培训。

0 个答案:

没有答案