Question

好的，所以我有一个C＃控制台应用程序，它被禁止读取.txt文件...并计算不同的单词..它的工作原理..但是我通过文件读取文件中的每个不同的单词有100MB的文件，它会持续数天.. 我想要的是一种读取文件一次并计算所有不同单词的方法。到目前为止，这是一些应用程序：

using System;
using System.IO;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Threading;
using System.Diagnostics;
using System.Data;
using System.IO.MemoryMappedFiles;

namespace CompressionApp
{
    class Program
    {
        static void Main(string[] args)
        {
            //read all text
            string FilePath = (@"D:\Test\testing.txt");
            string FullText;
            using (StreamReader streamReader = new StreamReader(FilePath))
            {
                FullText = streamReader.ReadToEnd();
            }
            FileInfo Info = new FileInfo(FilePath);
            int FileSize = Convert.ToInt32(Info.Length);
//some code

            string[] Words = FullText.Split(' ');

            var DistinctWords = new List<string>(Words.Distinct());

//some code

            int P = 0;
            int ID = 0;
            int Length = 0;
            int ByteWorth;
            double Perc;
            double PPerc = 0;
            bool display = false;

            using (var mappedFile1 = MemoryMappedFile.CreateFromFile(FilePath))
            {
                using (Stream mmStream = mappedFile1.CreateViewStream())
                {
                    using (StreamReader sr = new StreamReader(mmStream, ASCIIEncoding.ASCII))
                    {
                        Parallel.ForEach(DistinctWords, new ParallelOptions { MaxDegreeOfParallelism = 1 }, Word =>
                        {
                            DataRow dr = dt.NewRow();
                            string SearchTerm = Word;
                            var MatchQuery = from word in Words
                                             where word == SearchTerm
                                             select word;

                            int WordCount = MatchQuery.Count();
                            Length = SearchTerm.Length;
                            if (Length > 1)
                            {
                                if (WordCount > 1)
                                {
                                    ID = ID + 1;
                                    ByteWorth = (Length * 8) * WordCount;
                                    dr["Word"] = SearchTerm;
                                    dr["Count"] = WordCount;
                                    dr["ID"] = ID;
                                    dr["Length"] = Length;
                                    dr["ByteWorth"] = ByteWorth;
                                    dt.Rows.Add(dr);
                                }
                            }
//some code below

到目前为止，这是完整的应用程序......我知道不是很整洁。但我不熟悉编码。

欢迎任何提示，提示或建议。

Answer 1

据我理解，你得到的是不同的单词，然后对于你要浏览整个文件的每个单词来计算该单词的出现次数。我敢打赌，找到不同的词只需要很少的时间，但计算出现次数的循环大约需要永远。

您可以使用LINQ获取不同的单词及其计数。替换这行代码：

var DistinctWords = new List<string>(Words.Distinct());

与

var DistinctWithCount = from word in Words
                        group word by word
                        into g
                        select new {Word = g.Key, Count = g.Count()};

然后，您可以使用以下计数来枚举单词：

foreach (var g in DistinctWithCount)
{
    Console.WriteLine("{0},{1}", g.Word, g.Count);
}

Answer 2

我无法为你编写整个逻辑，但这里有一些指针.. 我使用字典而不是表。您可以稍后从字典中构建表。如果您想拥有id，请使用复杂的值类型而不是'int'。该int值当前表示该单词的计数。

var CheckedWords = new Dictionary<string, int>();

以下是我在foreach循环中的代码的样子：

                        /*DataRow dr = dt.NewRow();
                        string SearchTerm = Word;
                        var MatchQuery = from word in Words
                                         where word == SearchTerm
                                         select word;

                        int WordCount = MatchQuery.Count();

                        Length = SearchTerm.Length;*/

                        if (Word.Length > 1)
                        {
                            if (!CheckedWords.ContainsKey(Word))
                                CheckedWords.Add(Word,1);
                            else
                                CheckedWords[Word]++;
                        }

C＃Console ...文本阅读，单词计数应用程序

2 个答案: