C#Json => MySQL的。需要有关如何处理它的建议

时间:2015-12-28 11:23:41

标签: c# mysql json

我会给你一个基本的概述,总结它,然后问问题,这样你们都可以得到通知。如果您需要更多信息,请不要插入询问。

基本设置:

  • 客户经常与服务器通信,提供序列化和处理的json数据。
  • 客户端还需要使用此数据并将其编入mysql服务器(主要问题在于此处)
  • 客户端在较小程度上还需要将服务器提供的一些数据存储到特定于该客户端的本地数据库中。

如上所述,我有一个客户端与输出json进行处理的服务器进行通信。现在的问题不是关于json数据或与服务器的通信。更多的是关于远程和本地数据库以及我应该采取什么方法,我猜,dto。

现在 - 最初我打算通过一个循环来处理它,一个接一个地将各个数据段插入到数据库中,直到它到达分页数据的末尾。这几乎立即表现出麻烦,因为死锁变得非常非常快。事实上,在大约1682次输入之后,死锁从500中的1变为10中的9,直到回滚功能再次停止执行为止。

这是我的问题。

您最初需要处理大量(> 500k)数据的建议,然后在填充数据库之后,分段(~1k)。

我用stringbuilder查看了csv,bulkinput和查询构建。在操作上,字符串构建器选项执行速度最快,但我不确定一旦数据不断地通过它而不仅仅是测试文件,它将如何扩展。

任何一般性意见或建议。你怎么认为这是最好的。类似的东西。什么都有帮助。只是从处理过这种情况的人那里寻找真实世界的情景,并且可以指导我朝着正确的方向前进。

至于被告知要做什么 - 如果你想要更加含糊,我会研究给出的选项。那没关系:)

再次感谢

编辑:另外 - 你认为使用任务或编写我自己的线程是这种情况的更好选择。感谢

1 个答案:

答案 0 :(得分:0)

我个人会选择批量复制。它易于实现,是在数据库中存储数千条记录的最快方法。

有用的文章:http://ignoringthevoices.blogspot.si/2014/09/working-with-entity-framework-code.html