概述
InfluxdB(v1.5.2)天蓝色,我正在尝试从Windows / centos插入记录。我写了一个python脚本从csv读取数据,并将其插入influxdB。在新创建的数据库上,吸收率相当不错,但是一旦记录数量超过1.5+百万个标记,则吸收率就会恶化,因此并非所有记录都会被吸收。如果我使用相同的csv文件,并将记录插入到新创建的数据库中,那么我会得到更多的记录。数据丢失率在40%到80%之间变化。
配置详细信息
我们已注册的Azure实例是Premium SSD Managed磁盘。 P4类型:磁盘大小= 32GB,每个磁盘的IOPS速率= 120,RAM = 8GB,每个磁盘的吞吐量= 25 MB /秒。 直到记录数量超过1.5百万,才面临任何问题。摄入该数值后,摄入率开始下降。
Azure磁盘详细信息
SDA1 >> Size= 976MB;Used=46MB (5%);Available=879MB
SDA2 >> Size= 29GB;Used=9.2GB (35%);Available=18GB
InfluxDB(v1.5.2) instance size allocated= ~30GB.
My InfluxDB database size = ~2.0G
与查询相关的详细信息
Measurement = 1
No of tags= 9 (8+1uniq tag)
No of fields= 3
Number of Series = 999952
一个具有最大10K行(可以更少但不能更多)的csv文件用于每5分钟(每天288000条记录)将数据提取到influxdb。使用简单查询,不使用正则表达式。
每摄取1万条记录:
Time taken for ingestion ranges between= 5-10secs (depending upon the size of the db.)
Field writes per second is around= 100 per second.
Total unique series= 10000