Question

我怎样才能跟踪单词出现在文本文件中的次数？我想为每一个字都这样做。

例如，如果输入类似于：

“那个男人对男孩说。”

每个“男人对男孩说嗨”都会出现1。

“the”会出现2。

我正在考虑使用单词/出现对保留字典，但我不确定如何在C中实现这一点。使用解决方案链接到任何类似或相关的问题都会很棒。

编辑：为了避免推出我自己的哈希表，我决定学习如何使用glib。在此过程中，我找到了一个很好的教程，可以解决类似的问题。 http://bo.majewski.name/bluear/gnu/GLib/ch03s03.html

我对不同方法的数量感到震惊，特别是Ruby实现的简单性和优雅。

Answer 1

只是为了好奇，这里是一个简单的Ruby计算单词问题解决方案。它应该与C中的算法基本相同，只需要更多的代码。

h = Hash.new(0)
File.read("filename.txt").split.each do |w|
  h[w] += 1
end
p h

Answer 2

是的，带有word-occurence对的字典可以正常工作，实现这样一个字典的通常方法是使用哈希表（或者有时候是二叉搜索树）。

您还可以使用trie（或其压缩版本"Patricia trie" / Radix trie），其复杂性对于此问题渐近最优，但我怀疑在实践中它可能比a慢（好的哈希表实现。

[我真的认为散列表或尝试是否更好取决于输入中单词的分布 - 例如哈希表需要将每个单词存储在其哈希桶中（以防止冲突），而如果你有很多带有公共前缀的单词，那么这些公共前缀是共享的，只需要存储一次，但是还有所有指针的开销......如果你碰巧尝试两者，我很想知道他们如何比较。]

Answer 3

这算了吗？

#include <stdio.h>
#include <stdlib.h>
int main(int argc, char **argv)
{
    char buffer[2048];
    if (argc != 2)
    {
        fprintf(stderr, "Usage: %s file\n", argv[0]);
        exit(EXIT_FAILURE);
    }
    snprintf(buffer, sizeof(buffer), "tr -cs '[a-z][A-Z]' '[\\n*]' < %s |"
                                     " sort | uniq -c | sort -n", argv[1]);
    return(system(buffer));
}

它基本上封装了规范脚本，说明如何将Unix上的单词计算为shell脚本。

'tr'命令将任何不是字母字符的内容转换为换行符并挤出重复项。第一个“sort”将每个单词的所有匹配项组合在一起。 'uniq -c'计算每个单词的连续出现次数，打印单词及其计数。第二个'sort'按顺序递增重复。您可能需要选择“tr”选项;它不是从系统到系统的最稳定的命令，它设法定期让我做手动抨击。在Solaris 10上使用/ usr / bin / tr，上面的代码生成（在其自己的源上）：

   1
   1 A
   1 EXIT
   1 FAILURE
   1 Usage
   1 Z
   1 a
   1 c
   1 cs
   1 exit
   1 file
   1 fprintf
   1 if
   1 main
   1 return
   1 sizeof
   1 snprintf
   1 stderr
   1 stdio
   1 stdlib
   1 system
   1 tr
   1 uniq
   1 z
   2 argc
   2 char
   2 h
   2 include
   2 int
   2 s
   2 sort
   3 argv
   3 n
   4 buffer

Answer 4

对于个别单词，除非这是更大的一部分，否则根本不需要编写程序：

sed -e 's/[[:space:]]/\n/g' < file.txt | grep -c WORD

Answer 5

您可以使用哈希表，并使哈希表中的每个条目都指向一个结构，其中包含到目前为止已找到的单词和次数。

Answer 6

Perl中的

：

my %wordcount = ();
while(<>){map {$wordcount{$_}++} (split /\s+/)}
print "$_ = $wordcount{$_}\n" foreach sort keys %wordcount;

和Perl Golf（只是为了好玩）：

my%w;                       
map{$w{$_}++}split/\s+/while(<>); 
print"$_=$w{$_}\n"foreach keys%w;

Answer 7

警告未经测试的代码：

#include <stdio.h>

struct LLNode
{
    LLNode* Next;    
    char*   Word;
    int     Count;
};

void PushWord(LLNode** list, const char* word)
{
    LLNode* node = NULL;
    unsigned int len = 0;
    if (*list == NULL) 
    {
        $list = new LLNode;
        $list = "\0";
    }
    node = *list;
    while ((node = node->Next) != NULL) // yes we are skipping the first node
    {
        if (!strcmp(node->Word, word))
        {
            node->Count++;
            break;
        }

        if (!node->Next)
        {
            LLNode* nnode = new LLNode;
            nnode->Count = 1;
            node->Next = nnode;
            len = strlen(word);
            node->Word = new char[len + 1];
            strcpy(node->Word, word);
            break;
        }
    }
}

void GetCounts(LLNode* list)
{
    if (!list)
        return;
    LLNode* node = list;
    while ((node = node->Next) != NULL) // yes we are skipping the first node
    {
        printf("Word: %s, Count: %i", node->Word, node->Count);
    }
}

void PushWords(LLNode** list, const char* words)
{
    char ch = '\0';
    unsigned int len = strlen(words);
    char buff[len]; // to be sure we have no buffer ovverunes. May consume too much memery for your application though.
    int index = 0;
    for (unsigned int i = 0; i < len; i++)
    {
        ch = words[i];
        if (index > 0 && ch == ' ')
        {
            ch[index + 1] = '\0';
            PushWords(list, buff);
            index = 0;
        }
        else if (ch != ' ')
        {
            ch[index++] = ch;
        }
    }

    if (index > 0 && ch == ' ')
    {
        ch[index + 1] = '\0';
        PushWords(list, buff);
        index = 0;
    }
}

int main()
{
    LLNode* list = NULL;
    PushWords(&list, "Hello world this is a hello world test bla");
    GetCount(list);
    // release out memery here
}

我刚才写道，所以它不会工作 - 但这是一般的想法。

这次在C ++中的另一个粗略草案（注意：std :: map有相当不错的搜索时间）：

#include <iostream>
#include <string>
#include <map>

using namespace std;

typedef map<string, int> CountMap;

void PushWords(CountMap& list, const char* words)
{
    char ch = '\0';
    unsigned int len = strlen(words);
    string str;
    int index = 0;
    for (unsigned int i = 0; i < len; i++)
    {
        ch = words[i];
        if (index > 0 && ch == ' ')
        {
            list[str] = list[str] + 1;
            index = 0;
        }
        else if (ch != ' ')
        {
            str += ch;
            index++;
        }
    }

    if (index > 0 && ch == ' ')
    {
        list[str] = list[str] + 1;
    }
}

void PrintCount(CountMap& list)
{
    CountMap::iterator iter = list.begin(), end = list.end();
    for (; iter != end; ++iter)
    {
        cout << (*iter).first << " : " << (*iter).second;
    }
}


int main()
{
    CountMap map;
    PushWords(map, "Hello world this is a hello world test bla");
    PrintCount(map);
}

Answer 8

#include <conio.h>
#include <iostream.h>
#include <fstream.h>
#include <cstdlib>

struct stdt
{
       char name[20] ;
       int id ;

}; //std

int main()
{
      stdt boy ;
      int a = 0 ;
      ofstream TextFile ;
      cout << "Begin File Creation \n" ;
      TextFile.open("F:\\C++ Book Chapter Program\\Ch  7\\File.txt" );
      if ( !TextFile)
      {
           cerr <<"Erro 100 Openoing File.DAT" ;
           exit(100);     
      }//end if
      while ( a < 3 )
      {
            TextFile.write( (char*) &boy , sizeof (boy) ) ;
            cout << "\nEnter Name : " ;
            cin  >> boy.name;
            cout << "\nEnter ID : " ;
            cin  >> boy.id ;
            a++;
      }//end while

      TextFile.close();
      cout << "\nEnd File Creation" ;

      ifstream TextFile1 ;
      TextFile1.open("F:\\C++ Book Chapter Program\\Ch  7\\File.txt" );
      while ( TextFile1.read( (char*) &boy , sizeof (boy) ) )
      {
            cout << "\nEnter Name : " << boy.name; 
            cout << "\nEnter ID : " << boy.id ;


      }// end While

      getch();
      return 0 ;
}//end main

计算文本文件中单词出现次数

8 个答案: