Question

我正在尝试计算文件的tfidf值并将它们保存到矩阵中，我想先将tfidf值标准化为0到1之间。但我有一个问题，规范化后计算的第一个值是NAN，我该如何解决这个问题。

这就是我做的事情

    double tf; //term frequency
    double idf; //inverse document frequency
    double tfidf = 0; //term frequency inverse document frequency 
    double minValue=0.0;
    double maxValue=0;
    File output = new File("E:/hsqldb-2.3.2/hsqldb-2.3.2/hsqldb/hsqldb/matrix.txt");
    FileWriter out = new FileWriter(output); 
    mat= new String[termsDocsArray.size()][allTerms.size()];
    int c=0; //for files
    for (String[] docTermsArray : termsDocsArray) {
        int count = 0;//for words
        for (String terms : allTerms) {
            tf = new TfIdf().tfCalculator(docTermsArray, terms);
            idf = new TfIdf().idfCalculator(termsDocsArray, terms);
            tfidf = tf * idf;           
            //System.out.print(terms+"\t"+tfidf+"\t");
            //System.out.print(terms+"\t");

            tfidf = Math.round(tfidf*10000)/10000.0d;
            tfidfList.add(tfidf);
            maxValue=Collections.max(tfidfList);
            tfidf=(tfidf-minValue)/(maxValue-minValue);  //Normalization here
            mat[c][count]=Double.toString(tfidf);
            count++;   
        }     
    c++;
    }

这是我得到的输出

NaN 1.0  0.0  0.021
0.0 1.0 0.0 0.365 ... and others

只有第一个数字是NAN，这个数字原来是一个在矩阵中重复多次但它的值不是NAN的数字

请给我一些解决此问题的建议。

由于

Answer 1

我的第一个猜测是你将0.0除以0.0 - 也许maxValue，minValue和tfidf都为零。我的建议是在规范化步骤之前放置一个打印语句 - 我猜你会在那里看到一些意想不到的值。

Answer 2

你除以零。当添加到tfidflist的第一个值为0.0时，会发生这种情况。

为了执行真正的规范化，您可能必须先计算所有可能的值，然后计算这些值的最小值/最大值，然后根据这些值对所有值进行标准化/ max值。大致是：

// First collect all values and compute min/max on the fly
double minValue=Double.MAX_VALUE;
double maxValue=-Double.MAX_VALUE;
double values = new String[termsDocsArray.size()][allTerms.size()];
int c=0; //for files
for (String[] docTermsArray : termsDocsArray) {
    int count = 0;//for words
    for (String terms : allTerms) {
        double tf = new TfIdf().tfCalculator(docTermsArray, terms);
        double idf = new TfIdf().idfCalculator(termsDocsArray, terms);
        double tfidf = tf * idf;           
        tfidf = Math.round(tfidf*10000)/10000.0d;
        minValue = Math.min(minValue, tfidf);
        maxValue = Math.max(maxValue, tfidf);
        values[c][count]=tfidf;
        count++;   
    }     
    c++;
}

// Then, create the matrix containing the strings of the normalized 
// values (although using strings here seems like a bad idea)
c=0; //for files
for (String[] docTermsArray : termsDocsArray) {
    int count = 0;//for words
    for (String terms : allTerms) {
        double tfidf = values[c][count];
        tfidf=(tfidf-minValue)/(maxValue-minValue);  //Normalization here
        mat[c][count]=Double.toString(tfidf);
        count++;   
    }     
    c++;
}

标准化双值时的NAN

2 个答案: