Question

我正在使用批处理来写入InfluxDB，下面是我执行此操作的代码。

    String dbName = "test";
    influxDB.query(new Query("CREATE DATABASE " + dbName, dbName));
    Stopwatch watch = Stopwatch.createStarted();
    influxDB.enableBatch(2000, 100, TimeUnit.MILLISECONDS);


        for (int j = 0; j < 100000; j++) {
            Point point = Point.measurement("cpu")
                    .addField("idle", (double) j)
                     .addField("system", 3.0 * j).build();
            influxDB.write(dbName, "autogen", point);
        }
       influxDB.disableBatch();
       System.out.println("Write for " + 100000 + " Points took:" + watch);
   }

这里我写的是100000分，写的时间非常合理，但只有少数记录写入数据库而不是预期的100000条记录。

select count(idle) from cpu只给我“89”我期待它是“100000”

虽然select * from cpu给了我以下信息：

cpu
time                        idle    system
2016-10-06T23:57:41.184Z    8       24
2016-10-06T23:57:41.185Z    196     588
2016-10-06T23:57:41.186Z    436     1308
2016-10-06T23:57:41.187Z    660     1980
2016-10-06T23:57:41.188Z    916     2748
2016-10-06T23:57:41.189Z    1278    3834
2016-10-06T23:57:41.19Z     1405    4215
2016-10-06T23:57:41.191Z    1409    4227
2016-10-06T23:57:41.192Z    1802    5406
2016-10-06T23:57:41.193Z    1999    5997
2016-10-06T23:57:41.456Z    3757    11271
2016-10-06T23:57:41.457Z    3999    11997
2016-10-06T23:57:41.858Z    4826    14478 and so on.....

这里我的问题是为什么缺少空闲值的原因，例如，在8之后它应该是9,10,11等等，但是这些值没有持久化并且直接来自196然后在两者之间丢失然后在436之间丢失。知道如何在这种情况下保持循环变量“j”的所有值吗？

Answer 1

这一行

influxDB.enableBatch(2000, 100, TimeUnit.MILLISECONDS);

表示如果每100 ms周期有超过2000个样本，它将刷新输入数据。由于您正在尝试编写100k样本，因此逻辑上大多数样本都会被刷新。

相反，在一个批次中写下更少的样本。我的建议是在一个批处理中写入5000个样本，并进行多个批处理，直到所有数据都在数据库中。

// Batch 1
influxDB.enableBatch(5000, 100, TimeUnit.MILLISECONDS);
for (int j = 0; j < 5000; j++) {
   Point point = Point.measurement("cpu")
                      .addField("idle", (double) j)
                      .addField("system", 3.0 * j).build();
   influxDB.write(dbName, "autogen", point);
}
influxDB.disableBatch();

// Batch 2
// ...

InfluxDB批量写入

1 个答案: