我使用DeepSpeech训练中文模型,预处理和训练都可以,然后将输出.pb模型,但是在计算声学模型预测时,由于OOM而导致python3进程被终止。
参数遵循,测试csv中有2400多行,测试csv中的音频文件约为1GB。 当我仅使用测试csv的前100行并重试输出.pb模型时,一切正常。
参数
python3 -u DeepSpeech.py \
--train_files /home/ljh/train/thchs30/data/thchs30_train.csv \
--dev_files /home/ljh/train/thchs30/data/thchs30_dev.csv \
--test_files /home/ljh/train/thchs30/data/thchs30_test.csv \
--train_batch_size 8 \
--dev_batch_size 8 \
--test_batch_size 8 \
--learning_rate 0.0001 \
--n_hidden 512 \
--epoch 20 \
--alphabet_config_path /home/ljh/train/thchs30/data/thchs30.txt \
--checkpoint_dir /home/ljh/train/thchs30/checkpoint \
--export_dir /home/ljh/train/thchs30/output_model \
"$@"
CPU和GPU内存使用
CPU:输出.pb型号时,使用6GB CPU内存(最大为32GB)
GPU:几乎所有GPU内存都被使用。但是,当我使用小型测试csv成功输出模型时,使用的GPU内存的情况与失败相同(使用2400行大型csv测试)
我想知道这种情况的原因,小的csv测试(前100行)会影响模型的准确性吗? 如果您知道的话,请告诉我原因。谢谢!