RuntimeError [在CPUAllocator.cpp处强制失败:56] posix_memalign(&data,gAlignment,nbytes)==0。12 vs 0 ON更大的数据和更大的批处理大小

时间:2019-07-11 05:59:26

标签: python python-3.x jupyter-notebook pytorch ner

我正在尝试使用精巧的框架训练我的模型。我总共有“ Corpus:11905火车+ 11974 dev + 10341测试”这句话。当我在整个数据上使用32个批处理大小时,它停止运行并在2次迭代后给出标题中提到的错误;在16个批处理大小中,它最多只能运行10次迭代。现在,我将数据降采样为一半,并以16批大小运行。直到现在一切顺利。我可以用整个数据集训练模型的问题是什么?如果是的话,我该怎么做?

我的系统详细信息:

ubantu 16.04 LTS  
Memory 62.8 GiB  
Processor Intel® Xeon(R) CPU E5-1650 v4 @ 3.60GHz × 12   
Graphics Quadro P2000/PCIe/SSE2  
OS type 64-bit   
Disk 1.9 TB  

/home/user1/.conda/envs/myenv中环境中的软件包:

#Name                    Version                   Build     Channel
_libgcc_mutex             0.1                        main  
atomicwrites              1.3.0                    pypi_0    pypi
attrs                     19.1.0                   py37_1  
backcall                  0.1.0                    py37_0  
blas                      1.0                         mkl  
bleach                    3.1.0                    py37_0  
boto                      2.49.0                   pypi_0    pypi
boto3                     1.9.183                  pypi_0    pypi
botocore                  1.12.183                 pypi_0    pypi
bpemb                     0.3.0                    pypi_0    pypi
ca-certificates           2019.5.15                     0  
certifi                   2019.6.16                py37_0  
cffi                      1.12.3           py37h2e261b9_0  
chardet                   3.0.4                    pypi_0    pypi
cycler                    0.10.0                   pypi_0    pypi
dbus                      1.13.6               h746ee38_0  
decorator                 4.4.0                    py37_1  
defusedxml                0.6.0                      py_0  
deprecated                1.2.6                    pypi_0    pypi
docutils                  0.14                     pypi_0    pypi
entrypoints               0.3                      py37_0  
enum34                    1.1.6                    pypi_0    pypi
expat                     2.2.6                he6710b0_0  
flair                     0.4.2                    pypi_0    pypi
fontconfig                2.13.0               h9420a91_0  
freetype                  2.9.1                h8a8886c_1  
future                    0.17.1                   pypi_0    pypi
gensim                    3.7.3                    pypi_0    pypi
glib                      2.56.2               hd408876_0  
gmp                       6.1.2                h6c8ec71_1  
gst-plugins-base          1.14.0               hbbd80ab_1  
gstreamer                 1.14.0               hb453b48_1  
hyperopt                  0.1.2                    pypi_0    pypi
icu                       58.2                 h9c2bf20_1  
idna                      2.8                      pypi_0    pypi
importlib-metadata        0.18                     pypi_0    pypi
intel-openmp              2019.4                      243  
ipykernel                 5.1.1            py37h39e3cac_0  
ipython                   7.6.0            py37h39e3cac_0  
ipython_genutils          0.2.0                    py37_0  
ipywidgets                7.4.2                    py37_0  
jedi                      0.13.3                   py37_0  
jinja2                    2.10.1                   py37_0  
jmespath                  0.9.4                    pypi_0    pypi
joblib                    0.13.2                   pypi_0    pypi
jpeg                      9b                   h024ee3a_2  
jsonschema                3.0.1                    py37_0  
jupyter                   1.0.0                    py37_7  
jupyter-http-over-ws      0.0.6                    pypi_0    pypi
jupyter_client            5.2.4                    py37_0  
jupyter_console           6.0.0                    py37_0  
jupyter_core              4.5.0                      py_0  
kiwisolver                1.1.0                    pypi_0    pypi
libedit                   3.1.20181209         hc058e9b_0  
libffi                    3.2.1                hd88cf55_4  
libgcc-ng                 9.1.0                hdf63c60_0  
libgfortran-ng            7.3.0                hdf63c60_0  
libpng                    1.6.37               hbc83047_0  
libsodium                 1.0.16               h1bed415_0  
libstdcxx-ng              9.1.0                hdf63c60_0  
libtiff                   4.0.10               h2733197_2  
libuuid                   1.0.3                h1bed415_2  
libxcb                    1.13                 h1bed415_1  
libxml2                   2.9.9                hea5a465_1  
markupsafe                1.1.1            py37h7b6447c_0  
matplotlib                3.1.1                    pypi_0    pypi
mistune                   0.8.4            py37h7b6447c_0  
mkl                       2019.4                      243  
mkl_fft                   1.0.12           py37ha843d7b_0  
mkl_random                1.0.2            py37hd81dba3_0  
more-itertools            7.1.0                    pypi_0    pypi
mpld3                     0.3                      pypi_0    pypi
nbconvert                 5.5.0                      py_0  
nbformat                  4.4.0                    py37_0  
ncurses                   6.1                  he6710b0_1  
networkx                  2.3                      pypi_0    pypi
ninja                     1.9.0            py37hfd86e86_0  
notebook                  5.7.8                    py37_0  
numpy                     1.16.4           py37h7e9f1db_0  
numpy-base                1.16.4           py37hde5b4d6_0  
olefile                   0.46                     py37_0  
openssl                   1.1.1c               h7b6447c_1  
packaging                 19.0                     pypi_0    pypi
pandoc                    2.2.3.2                       0  
pandocfilters             1.4.2                    py37_1  
parso                     0.5.0                      py_0  
pcre                      8.43                 he6710b0_0  
pexpect                   4.7.0                    py37_0  
pickleshare               0.7.5                    py37_0  
pillow                    6.0.0            py37h34e0f95_0  
pip                       19.1.1                   py37_0  
pluggy                    0.12.0                   pypi_0    pypi
prometheus_client         0.7.1                      py_0  
prompt_toolkit            2.0.9                    py37_0  
ptyprocess                0.6.0                    py37_0  
py                        1.8.0                    pypi_0    pypi
pycparser                 2.19                     py37_0  
pygments                  2.4.2                      py_0  
pymongo                   3.8.0                    pypi_0    pypi
pyparsing                 2.4.0                    pypi_0    pypi
pyqt                      5.9.2            py37h05f1152_2  
pyrsistent                0.14.11          py37h7b6447c_0  
pytest                    5.0.1                    pypi_0    pypi
python                    3.7.3                h0371630_0  
python-dateutil           2.8.0                    py37_0  
pytorch-cpu               1.1.0               py3.7_cpu_0    pytorch
pytorch-pretrained-bert   0.6.2                    pypi_0    pypi
pyzmq                     18.0.0           py37he6710b0_0  
qt                        5.9.7                h5867ecd_1  
qtconsole                 4.5.1                      py_0  
readline                  7.0                  h7b6447c_5  
regex                     2019.6.8                 pypi_0    pypi
requests                  2.22.0                   pypi_0    pypi
s3transfer                0.2.1                    pypi_0    pypi
scikit-learn              0.21.2                   pypi_0    pypi
scipy                     1.3.0                    pypi_0    pypi
segtok                    1.5.7                    pypi_0    pypi
send2trash                1.5.0                    py37_0  
sentencepiece             0.1.82                   pypi_0    pypi
setuptools                41.0.1                   py37_0  
sip                       4.19.8           py37hf484d3e_0  
six                       1.12.0                   py37_0  
sklearn                   0.0                      pypi_0    pypi
smart-open                1.8.4                    pypi_0    pypi
sqlite                    3.28.0               h7b6447c_0  
sqlitedict                1.6.0                    pypi_0    pypi
tabulate                  0.8.3                    pypi_0    pypi
terminado                 0.8.2                    py37_0  
testpath                  0.4.2                    py37_0  
tk                        8.6.8                hbc83047_0  
torchvision-cpu           0.3.0             py37_cuNone_1    pytorch
tornado                   6.0.3            py37h7b6447c_0  
tqdm                      4.32.2                   pypi_0    pypi
traitlets                 4.3.2                    py37_0  
urllib3                   1.24.3                   pypi_0    pypi
wcwidth                   0.1.7                    py37_0  
webencodings              0.5.1                    py37_1  
wheel                     0.33.4                   py37_0  
widgetsnbextension        3.4.2                    py37_0  
wrapt                     1.11.2                   pypi_0    pypi
xz                        5.2.4                h14c3975_4  
zeromq                    4.3.1                he6710b0_3  
zipp                      0.5.2                    pypi_0    pypi
zlib                      1.2.11               h7b6447c_3  
zstd                      1.3.7                h0b5b093_0 

初始化培训师

from flair.trainers import ModelTrainer

trainer: ModelTrainer = ModelTrainer(tagger, corpus)

开始培训

trainer.train('resources16/taggers/example-ner',
              learning_rate=0.1,
              mini_batch_size=16,
              max_epochs=150)

绘制训练曲线(可选)

from flair.visual.training_curves import Plotter
plotter = Plotter()
plotter.plot_training_curves('resources16/taggers/example-ner/loss.tsv')
plotter.plot_weights('resources16/taggers/example-ner/weights.txt')   

我没有太多时间来训练我的模型,那么我应该使用哪些参数来获得更快的结果并且在完整的数据集上没有任何错误?

0 个答案:

没有答案