Question

我有一个包含2M条目的数据库表

我的XPositions表结构是

Id - int
FID - int
CoordinateQue - int
Latitude - float
Longitude - float

每行代表一个标记位置，我需要计算每个坐标之间的距离并保存到另一个表格。

我的xWeights表结构是;

Id - int
x_Id - int
Tox - int
Distance - decimal(18,8)

到目前为止，我的工作代码是

var query = _xRepository.TableNoTracking;
var xNodes = query.ToList()
var n = new xWeights();

foreach (var x in xNodes)
{
    for (var i = 0; i < xNodes.Count; i++)
    {
        if(x.Id == xNodes[i].Id)
        {
            //Do nothing - Same Node
        }
        else
        { 
        var R = 6378137; 
        var φ1 = (Math.PI / 180) * x.Latitude;
        var φ2 = (Math.PI / 180) * xNodes[i].Latitude;
        var Δφ = (xNodes[i].Latitude - x.Latitude) * (Math.PI / 180);
        var Δλ = (xNodes[i].Longitude - x.Longitude) * (Math.PI / 180);
        var Δψ = Math.Log(Math.Tan(Math.PI / 4 + φ2 / 2) / Math.Tan(Math.PI / 4 + φ1 / 2));
        var q = Math.Abs(Δψ) > 10e-12 ? Δφ / Δψ : Math.Cos(φ1); // E-W course creates problem with 0/0
        // if Longitude over 180° take shorter rhumb line across the anti-meridian:
        if (Math.Abs(Δλ) > Math.PI) Δλ = Δλ > 0 ? -(2 * Math.PI - Δλ) : (2 * Math.PI + Δλ);
        var dist = (Math.Sqrt(Δφ * Δφ + q * q * Δλ * Δλ)) * R;

        n.x_Id = x.Id;
        n.Tox = xNodes[i].Id;
        n.Distance = dist;

            _xWeightsRepository.Insert(n);
        }
    }
}

我的问题是;我每分钟获得大约35k的记录，因此每小时将达到2.1M的记录。这需要永远完成这一点。任何想法如何提高性能？

Answer 1

问题不在于此功能，而在于您要实现的目标。

您正尝试将每个from-to组合插入_xWeightsRepository。如果有200万个节点，则意味着4,000亿个权重。

如果您可以在每个CPU时钟周期插入一个权重（比实际希望实现的速度快几个数量级），那么您仍然需要等待十年或二十年。

查看SQL空间索引。我猜你的答案就在那个方向： https://docs.microsoft.com/en-us/sql/t-sql/statements/create-spatial-index-transact-sql

For Loop in Foreach Loop Performance Improvement

1 个答案: