我将传感器盒的输出存储在Postgres数据库中。有许多传感器盒(数十个),每个传感器每100小时产生一次读数,每天24小时 - 每天每个盒子有86x,xxx记录。传感器盒相对较笨,并且生活在不可靠的连接环境中,因此它在本地生成n
(tbd)行CSV文件,然后在网络访问时将它们全部发送出去。
传感器窗格知道它自己的名字,以及它产生的数据,但就是它。我正在尝试决定如何有效地将数据加载到数据库中。我正在考虑两种选择:
有人可以说出这两者的表现影响吗?
我对选项1的犹豫是我需要提供一些不在文件中的辅助数据(一些外键等)。唯一的方法是,在不让传感器pod意识到也进入该表的随机垃圾的情况下,为负载生成临时表,然后使用insert .. select
将它们移动到最终目的地,这似乎很浪费
这是一个高写/低读环境。