我会给你一个基本的概述,总结它,然后问问题,这样你们都可以得到通知。如果您需要更多信息,请不要插入询问。
基本设置:
如上所述,我有一个客户端与输出json进行处理的服务器进行通信。现在的问题不是关于json数据或与服务器的通信。更多的是关于远程和本地数据库以及我应该采取什么方法,我猜,dto。
现在 - 最初我打算通过一个循环来处理它,一个接一个地将各个数据段插入到数据库中,直到它到达分页数据的末尾。这几乎立即表现出麻烦,因为死锁变得非常非常快。事实上,在大约1682次输入之后,死锁从500中的1变为10中的9,直到回滚功能再次停止执行为止。
这是我的问题。
您最初需要处理大量(> 500k)数据的建议,然后在填充数据库之后,分段(~1k)。
我用stringbuilder查看了csv,bulkinput和查询构建。在操作上,字符串构建器选项执行速度最快,但我不确定一旦数据不断地通过它而不仅仅是测试文件,它将如何扩展。
任何一般性意见或建议。你怎么认为这是最好的。类似的东西。什么都有帮助。只是从处理过这种情况的人那里寻找真实世界的情景,并且可以指导我朝着正确的方向前进。
至于被告知要做什么 - 如果你想要更加含糊,我会研究给出的选项。那没关系:)
再次感谢
编辑:另外 - 你认为使用任务或编写我自己的线程是这种情况的更好选择。感谢
答案 0 :(得分:0)
我个人会选择批量复制。它易于实现,是在数据库中存储数千条记录的最快方法。
有用的文章:http://ignoringthevoices.blogspot.si/2014/09/working-with-entity-framework-code.html