我在平滑3克计数的大文件时遇到问题。 我使用:estimate-ngram -order 3 -counts allgrams -smoothing FixModKN -wl allgrams.FixModKN.lm命令,我收到此错误:
Saving LM to train.corpus.lm...
estimate-ngram: src/NgramModel.cpp:422: void NgramModel::SaveLM(const
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, const
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, ZFile&)
const: Assertion `(size_t)(ptr - lineBuffer.data()) < lineBuffer.size()' failed.
在我尝试使用4,7GB文件的2克之前,它工作正常。 3克文件大20GB。
我的操作系统是GNU / Linux x86_64,内存为96GB