ngrams

Question

我在Javascript中构建了一个ngram模型实现，工作正常。但是，我希望更改我的数据结构，以便每次观察到新的单词/字符时都不必遍历所有历史记录。

在这里，我使用seedtext并使用它来构建带有顺序2的ngram。

  var ngrams = {};
  var order = 2;
  var seedtext = "adadwsdawdsadawdsadadasdwdadaaasdsadsdadwdasdasd";
  
 build();
  
  function build(){
   
      for (var i = 0; i < seedtext.length - order; i++) {
        var gram = seedtext.substring(i, i + order);
        var next = seedtext.charAt(i + order);

        if (!ngrams.hasOwnProperty(gram)) {
          ngrams[gram] = [];
        }
        
        ngrams[gram].push(next);
      }
  }
  
  console.log(ngrams);
  console.log(ngrams["wd"]);
  

我希望有一个数据结构，其中包含每个观察到的模式的记录（对于给定的顺序。每个观察到的模式应该具有下一个可能的观察及其计数。

例如，如果运行以下代码，可以看到如下输出：

[object Object] {
  aa: ["a", "s"],
  ad: ["a", "w", "a", "a", "a", "a", "s", "w"],
  as: ["d", "d", "d", "d"],
  aw: ["d", "d"],
  da: ["d", "w", "w", "d", "s", "d", "a", "d", "s", "s"],
  ds: ["a", "a", "a", "d"],
  dw: ["s", "d", "d"],
  sa: ["d", "d", "d"],
  sd: ["a", "w", "s", "a", "a"],
  wd: ["s", "s", "a", "a"],
  ws: ["d"]
}

["s", "s", "a", "a"]

现在，如果我们以“广告”为例：ngrams["ad"]，我们会回来["a", "w", "a", "a", "a", "a", "s", "w"]。

显然，在ad之后，我们可以获得w，a或s。

我想对这些字母进行分组，以便ngrams["ad"]返回类似的内容：

{a: 5
w: 2
s :1}

请注意，它们是有序的，因此最常出现的字母位于顶部，并带有计数。

我希望能够像这样访问数据（例如）：

ngrams["ad"].a;
ngrams["ad"].w;
ngrams["ad"].s;

并获取5的{​​{1}}，a获得2，w获得1。

我还希望能够在再次观察到之前看到的模式时增加值...我还希望能够删除模式。

有什么想法吗？

Answer 1

这是一个工作版本。您可以添加另一个对象来存储其中下一个字符的计数，而不是数组。

        var ngrams = {};
  var order = 2;
  var seedtext = "adadwsdawdsadawdsadadasdwdadaaasdsadsdadwdasdasd";
  
 build();
  
  function build(){
   
      for (var i = 0; i < seedtext.length - order; i++) {
        var gram = seedtext.substring(i, i + order);
        var next = seedtext.charAt(i + order);

        if (!ngrams.hasOwnProperty(gram)) {
          ngrams[gram] = {};
        }
        
        if (!ngrams[gram].hasOwnProperty(next)) {
          ngrams[gram][next] = 0;
        }

        ngrams[gram][next] += 1;
      }
  }
  
  console.log(ngrams);
  console.log(ngrams["wd"]);