在使用深语音训练数据集的同时对数据错误进行标记化

时间:2019-01-24 18:46:33

标签: python pandas tensorflow dataset

在遵循本(https://medium.com/@klintcho/creating-an-open-speech-recognition-dataset-for-almost-any-language-c532fb2bc0cf)教程的同时,我创建了语音数据集以进行DeepSpeech训练。

但是,我无法使用深语音训练数据集。

由于像这样的训练命令,它给出了一个错误

python DeepSpeech.py --train_files /mnt/c/wsl/teneke_out_bolum1/

它抛出一个错误:

  

pandas.errors.ParserError:标记数据时出错。 C错误:在源上调用read(nbytes)失败。试试engine ='python'。

我已经在通过力气对齐和使用微调进行微调之后创建了数据集:

这是我在Google Colab上用于DeepSpeech训练的代码:

https://gist.github.com/mustafaxfe/d20be114ca7cea5c47ea5cc85653c761

我在Google上找到了一些解决方案,例如

data = pd.read_csv('file1.csv', error_bad_lines=False)

我也可以通过设置

解决错误输出
  

engine ='python'

但是,我不知道应该在哪里更改。

因此,我应该在哪里进行编辑以解决此问题。

谢谢。

1 个答案:

答案 0 :(得分:0)

您的命令需要重新访问:

  • 您指向的是火车数据文件夹。您应该指向一个.csv文件
  • 使用Python3

您的运行命令应如下所示。检查文档并修改您的需求。

   python3 -u DeepSpeech.py \
    --train_files /data/phonetic_speech_dta/train/train.csv \
    --dev_files /data/phonetic_speech_dta/dev/dev.csv \
    --test_files /data/phonetic_speech_dta/test/test.csv \
    --train_batch_size 64 \
    --dev_batch_size 32 \
    --test_batch_size 64 \
    --n_hidden 800\
    --validation_step 1\
    --display_step 1 \
    --epoch 100 \
    --log_level 1 \
    --dropout_rate 0.2 \
    --learning_rate 0.001 \
    --drop_count_weight 3.5 \
    --export_dir /speech2text/norwegian_model/results/model_export/ \
    --checkpoint_dir /speech2text/norwegian_model/results/checkpoint/ \
    --decoder_library_path /home/nvidia/tensorflow/bazel-bin/native_client/libctc_decoder_with_kenlm.so \
    --alphabet_config_path /speech2text/norwegian_model/alphabet.txt \
    --lm_binary_path /speech2text/norwegian_model/lm.binary \
    --lm_trie_path /speech2text/norwegian_model/trie