下面的图像是我的数据库结构图像。 我有100多个传感器,它们向各个机器发送恒定数据。 我有5-7个不同的机器,它们安装了不同的SQL Express数据库。 所有机器都将其各自的数据发送到一个SERVER。 每一秒都会将10行作为批量数据发送到服务器存储过程
问题:管理从每台机器到单台服务器的大数据,以避免死锁/性能延迟。
背景逻辑 来自机器的批量数据存储在临时表中 &安培;比使用那个临时表我循环遍历每个记录进行处理。 最后在sp_processed_filtered_data中插入了大量的插件。更新存在。 &安培;有嵌套的sp用于处理过滤后的数据。
当前逻辑:
步骤:1
Every Machine will send data to SP_Manage stored procedure which consist of bulk data in XML format, which we are converting in SQL table format.
This data is row data. so we filter this data.
Let's say after filtering 3 rows are remained.
so I want to process that each row now.
步骤:2
As I have to process each rows I have to loop through each row to send data to SP_Process_Filetered_Data.
Now this SP is containing complex logic.
I am looping though each records & every machines will send data parallelly.
所以我担心这会导致数据丢失或死锁。