我们有大量数据要插入领域数据库中。数据来自多个Web服务,总量为100Mb至 1Gb 。 我们需要通过交易存储网络中的每个结果。如果所有Web服务均成功下载,则在后处理之后,我们提交数据库。
由于该交易的领域需要在同一线程上运行,并且Web服务是异步的,因此我们面临的问题是我们无法调用一个Web服务结果后出现同一线程,我们如何处理这种情况?
注意:
我们无法将所有数据加载到内存中->大量数据正将内存异常置于危险之中
将Web服务响应的结果存储在文件中并逐个文件加载不是很有效->我们这样做了,但是性能很差(我们花了30%的时间处理文件解码管理…)