我正在尝试使用精巧的框架训练我的模型。我总共有“ Corpus:11905火车+ 11974 dev + 10341测试”这句话。当我在整个数据上使用32个批处理大小时,它停止运行并在2次迭代后给出标题中提到的错误;在16个批处理大小中,它最多只能运行10次迭代。现在,我将数据降采样为一半,并以16批大小运行。直到现在一切顺利。我可以用整个数据集训练模型的问题是什么?如果是的话,我该怎么做?
我的系统详细信息:
ubantu 16.04 LTS
Memory 62.8 GiB
Processor Intel® Xeon(R) CPU E5-1650 v4 @ 3.60GHz × 12
Graphics Quadro P2000/PCIe/SSE2
OS type 64-bit
Disk 1.9 TB
/home/user1/.conda/envs/myenv中环境中的软件包:
#Name Version Build Channel
_libgcc_mutex 0.1 main
atomicwrites 1.3.0 pypi_0 pypi
attrs 19.1.0 py37_1
backcall 0.1.0 py37_0
blas 1.0 mkl
bleach 3.1.0 py37_0
boto 2.49.0 pypi_0 pypi
boto3 1.9.183 pypi_0 pypi
botocore 1.12.183 pypi_0 pypi
bpemb 0.3.0 pypi_0 pypi
ca-certificates 2019.5.15 0
certifi 2019.6.16 py37_0
cffi 1.12.3 py37h2e261b9_0
chardet 3.0.4 pypi_0 pypi
cycler 0.10.0 pypi_0 pypi
dbus 1.13.6 h746ee38_0
decorator 4.4.0 py37_1
defusedxml 0.6.0 py_0
deprecated 1.2.6 pypi_0 pypi
docutils 0.14 pypi_0 pypi
entrypoints 0.3 py37_0
enum34 1.1.6 pypi_0 pypi
expat 2.2.6 he6710b0_0
flair 0.4.2 pypi_0 pypi
fontconfig 2.13.0 h9420a91_0
freetype 2.9.1 h8a8886c_1
future 0.17.1 pypi_0 pypi
gensim 3.7.3 pypi_0 pypi
glib 2.56.2 hd408876_0
gmp 6.1.2 h6c8ec71_1
gst-plugins-base 1.14.0 hbbd80ab_1
gstreamer 1.14.0 hb453b48_1
hyperopt 0.1.2 pypi_0 pypi
icu 58.2 h9c2bf20_1
idna 2.8 pypi_0 pypi
importlib-metadata 0.18 pypi_0 pypi
intel-openmp 2019.4 243
ipykernel 5.1.1 py37h39e3cac_0
ipython 7.6.0 py37h39e3cac_0
ipython_genutils 0.2.0 py37_0
ipywidgets 7.4.2 py37_0
jedi 0.13.3 py37_0
jinja2 2.10.1 py37_0
jmespath 0.9.4 pypi_0 pypi
joblib 0.13.2 pypi_0 pypi
jpeg 9b h024ee3a_2
jsonschema 3.0.1 py37_0
jupyter 1.0.0 py37_7
jupyter-http-over-ws 0.0.6 pypi_0 pypi
jupyter_client 5.2.4 py37_0
jupyter_console 6.0.0 py37_0
jupyter_core 4.5.0 py_0
kiwisolver 1.1.0 pypi_0 pypi
libedit 3.1.20181209 hc058e9b_0
libffi 3.2.1 hd88cf55_4
libgcc-ng 9.1.0 hdf63c60_0
libgfortran-ng 7.3.0 hdf63c60_0
libpng 1.6.37 hbc83047_0
libsodium 1.0.16 h1bed415_0
libstdcxx-ng 9.1.0 hdf63c60_0
libtiff 4.0.10 h2733197_2
libuuid 1.0.3 h1bed415_2
libxcb 1.13 h1bed415_1
libxml2 2.9.9 hea5a465_1
markupsafe 1.1.1 py37h7b6447c_0
matplotlib 3.1.1 pypi_0 pypi
mistune 0.8.4 py37h7b6447c_0
mkl 2019.4 243
mkl_fft 1.0.12 py37ha843d7b_0
mkl_random 1.0.2 py37hd81dba3_0
more-itertools 7.1.0 pypi_0 pypi
mpld3 0.3 pypi_0 pypi
nbconvert 5.5.0 py_0
nbformat 4.4.0 py37_0
ncurses 6.1 he6710b0_1
networkx 2.3 pypi_0 pypi
ninja 1.9.0 py37hfd86e86_0
notebook 5.7.8 py37_0
numpy 1.16.4 py37h7e9f1db_0
numpy-base 1.16.4 py37hde5b4d6_0
olefile 0.46 py37_0
openssl 1.1.1c h7b6447c_1
packaging 19.0 pypi_0 pypi
pandoc 2.2.3.2 0
pandocfilters 1.4.2 py37_1
parso 0.5.0 py_0
pcre 8.43 he6710b0_0
pexpect 4.7.0 py37_0
pickleshare 0.7.5 py37_0
pillow 6.0.0 py37h34e0f95_0
pip 19.1.1 py37_0
pluggy 0.12.0 pypi_0 pypi
prometheus_client 0.7.1 py_0
prompt_toolkit 2.0.9 py37_0
ptyprocess 0.6.0 py37_0
py 1.8.0 pypi_0 pypi
pycparser 2.19 py37_0
pygments 2.4.2 py_0
pymongo 3.8.0 pypi_0 pypi
pyparsing 2.4.0 pypi_0 pypi
pyqt 5.9.2 py37h05f1152_2
pyrsistent 0.14.11 py37h7b6447c_0
pytest 5.0.1 pypi_0 pypi
python 3.7.3 h0371630_0
python-dateutil 2.8.0 py37_0
pytorch-cpu 1.1.0 py3.7_cpu_0 pytorch
pytorch-pretrained-bert 0.6.2 pypi_0 pypi
pyzmq 18.0.0 py37he6710b0_0
qt 5.9.7 h5867ecd_1
qtconsole 4.5.1 py_0
readline 7.0 h7b6447c_5
regex 2019.6.8 pypi_0 pypi
requests 2.22.0 pypi_0 pypi
s3transfer 0.2.1 pypi_0 pypi
scikit-learn 0.21.2 pypi_0 pypi
scipy 1.3.0 pypi_0 pypi
segtok 1.5.7 pypi_0 pypi
send2trash 1.5.0 py37_0
sentencepiece 0.1.82 pypi_0 pypi
setuptools 41.0.1 py37_0
sip 4.19.8 py37hf484d3e_0
six 1.12.0 py37_0
sklearn 0.0 pypi_0 pypi
smart-open 1.8.4 pypi_0 pypi
sqlite 3.28.0 h7b6447c_0
sqlitedict 1.6.0 pypi_0 pypi
tabulate 0.8.3 pypi_0 pypi
terminado 0.8.2 py37_0
testpath 0.4.2 py37_0
tk 8.6.8 hbc83047_0
torchvision-cpu 0.3.0 py37_cuNone_1 pytorch
tornado 6.0.3 py37h7b6447c_0
tqdm 4.32.2 pypi_0 pypi
traitlets 4.3.2 py37_0
urllib3 1.24.3 pypi_0 pypi
wcwidth 0.1.7 py37_0
webencodings 0.5.1 py37_1
wheel 0.33.4 py37_0
widgetsnbextension 3.4.2 py37_0
wrapt 1.11.2 pypi_0 pypi
xz 5.2.4 h14c3975_4
zeromq 4.3.1 he6710b0_3
zipp 0.5.2 pypi_0 pypi
zlib 1.2.11 h7b6447c_3
zstd 1.3.7 h0b5b093_0
初始化培训师
from flair.trainers import ModelTrainer
trainer: ModelTrainer = ModelTrainer(tagger, corpus)
开始培训
trainer.train('resources16/taggers/example-ner',
learning_rate=0.1,
mini_batch_size=16,
max_epochs=150)
绘制训练曲线(可选)
from flair.visual.training_curves import Plotter
plotter = Plotter()
plotter.plot_training_curves('resources16/taggers/example-ner/loss.tsv')
plotter.plot_weights('resources16/taggers/example-ner/weights.txt')
我没有太多时间来训练我的模型,那么我应该使用哪些参数来获得更快的结果并且在完整的数据集上没有任何错误?