Question

我正在寻找在Web浏览器中使用javascript存储和检索时间序列数据的方法。我预计每秒会有500-5000个浮点数趋势变化。存储每个项目时，将具有唯一的标记名称，相同的时间戳（Date.now（））和浮点值。

检索数据时，我通常感兴趣的是获取单个标签名称的值数组，其中时间戳在指定范围内。

我的问题是我不了解indexedDb数据模型和API。是否可以通过一次调用存储我所有的新值（为所有1000个标签每秒生成一次）？

我已经用Dexie作为indexedDb的包装器做了一些实验，这是我的测试代码：

async function start() {

  // Define database

  await Dexie.delete('trendDatabase');
  var db = new Dexie("trendDatabase");
  db.version(1).stores({
    trends: '++id,trendId,timestamp,value'
  });

  console.log ("Using Dexie v" + Dexie.semVer);

  // Query Database
  var result1 = await db.open();

  //add 1000 values for two trends

  var trendId1 = "FI-100";
  var trendId2 = "FI-200";
  var t1 = Date.now(); 
  for (var i=0; i<1000; i++) {
      var timestamp1 = t1 - (1000 + i) * 1000;
      var value1 = Math.sin(i/10)*8;
      var storeResult = await db.trends.add({trendId: trendId1, timestamp: timestamp1, value: value1});
      var value2 = Math.cos(i/100)*4;
      var storeResult = await db.trends.add({trendId: trendId2, timestamp: timestamp1, value: value1});
  }
  var t2 = Date.now();
  console.log("Took: ", t2 - t1);
  var t3 = Date.now();
  console.log("Took: ", t3 - t2);
  console.log(result3); 
  var result4 = db.delete();

}

最大的问题是存储速度如何。在我的笔记本电脑上，存储2000点数据需要52秒（而检索1000点仅需11 ms）。在具有optane储存功能的台式机上，储存时间约为2秒。无论哪种情况，这都太慢了。我需要能够每秒存储一次，所以我需要的存储速度为<1000毫秒，理想情况下为<100毫秒。

是否有更好的方法在indexedDb中构造时间序列数据？

我的一个想法是，我可以一次存储所有趋势的最新100点数据，然后为每个趋势写100点的块（在每个趋势中按轮换顺序），以减少写调用的次数的100倍。这也将使检索最近的数据（在最近的100秒内）成为可能，当我只需要几个标签时，我最终将获得所有1000个标签的值，所以我必须做一些工作过滤删除无关数据。这种方法可能是可行的，但是在经历所有麻烦之前，我想先询问一下社区，看看是否有更好的方法或其他任何项目/库可以这样做。

Answer 1

嗯，在问之前我应该做更多的研究。看起来好像有一个dexie.bulkAdd命令可以解决我的问题，并且速度已经快100倍以上。

Answer 2

很好，您发现可以使用Table.bulkAdd（）代替Table.add（）（看到您自己对问题的回答）

对于查询部分，我了解到您希望在查询中同时包含tag和timeRange。

我想标签部分与TrendId相同吗？

如果是这样，我建议您迁移架构以使用[trendId + timestamp]的复合索引来进行更有效的查询。

还建议您将数据库实例保留在start（）函数之外。在模块中声明并导出。

db.js

// db.js
export const db = new Dexie('trendDatabase');

db.version(1).stores({
  trends: '++id,trendId,timestamp,value'
});// (Keep version 1 if you or your users have it installed)

// Migrate schema:
db.version(2).stores({
  trends: '++id, [trendId+timestamp]'
});

query.js

// query.js
import { db } from './db';

export function query(trendId, timeFrom, timeTo) {
  return db.trends
    .where('[trendId+timestamp]')
    .between([trendId, timeFrom], [trendId, timeTo])
    .toArray();
}

log.js

import { db } from './db';

export async function log(trends) {
  await db.trends.bulkAdd(trends);
}

如您所见，您只需索引将在where子句中使用的属性。这并不意味着您可以为每个对象存储其他属性。

使用indexdDb

2 个答案: