透视脚本的性能改进

Question

在我的数据生成过程中，我有一个大约100M行的临时表。 表的结构如下：

CREATE TABLE #table ( ProductId INT, CountryCodeID INT ,DataTypeID INT,
     Formula VARCHAR(1000) ,Yr INT, Letter VARCHAR(100) , Data FLOAT(53))

我们可以使用一些虚拟数据（~10M）填充它：

INSERT INTO #table ( ProductId, CountryCodeID, DataTypeID, Formula, Yr, Letter, Data )
SELECT
     P.ProductID, C.CountryCodeID, D.DataTypeID, F.Formula, Y.Yr,
     L.Letter, RAND() AS Data
FROM (VALUES (
    1856),(1459),(1816),(238),(328),(444),(921),(1724),(155),(420),(795),
    (620),(1007),(153),(1659),(95),(952),(1476),(759),(1461),(1958),(1341),
    (116)) P(productID)
CROSS JOIN (VALUES (16),(302),(422),(36),(95),(744),(4),(285),(1849),(1402),
    (430),(835),(214),(1476),(711),(36),(142),(428),(768),(78),(510),(945),
    (1125)) C(CountryCodeID)
CROSS JOIN (VALUES (1120),(1121),(1122),(1123),(1124),(1125),(1126),(1127),
    (1128)) D(DataTypeID)
CROSS JOIN (VALUES ('A+B'),('A/B/(A+B+C+D+E+G)'),('A/B/(A+B+C+D+E)'),
    ('A/B/(A+B+C+D)'),('A/B/(A+B+C)'),('A/B/(A+B)'),
    ('A/B/(A+B+C+D+E+G+Z)')) F(Formula)
CROSS JOIN (VALUES (1977),(1978),(1979),(1980),(1981),(1982),(1983),(1984),
    (1985),(1986),(1987),(1988), (2000),(2001),(2002),(2003),        (2004),
    (2005),(2006),(2007),(2008),(2009),(2010),(2011),(2012),(2013)) Y(Yr)
CROSS JOIN (VALUES ('A'),('B'),('C'),('D'),('E'),('F'),('G'),('H'),('J '),
    ('K'),('L'),('M')) L(Letter) 
--10 398 024

在我的程序结束时，我需要将我的表转移到另一个临时表：

SELECT
     ProductID,CountryCodeId,DataTypeID,Formula,
    Yr,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,X,Z,W
INTO #Final3
FROM #table
PIVOT ( MAX(Data) FOR Letter IN (
     A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,X,Z,W
    ) ) AS pvt;

最后一个查询非常慢。它需要几乎年龄。

执行计划：

开头有桌面扫描，但只有2％ 表格插入#Final需要83％

有趣的是，估计的nr行比实际行数大得多。

所以我的问题是如何才能提高性能。我的一些想法：

• 指标;
• 也许使用#table将NTILE划分为10个较小的表可能会有所帮助，然后创建一个将执行10个枢轴的循环？

说实话我没有任何其他想法......如果您有相关经验 - 请咨询。 感谢。

Answer 1

我尝试使用老式PIVOTing（使用CASE）并在我的系统上获得更好的结果（快2到3倍）。还创建了一个CLUSTERED INDEX，因此插入数据会慢得多（对于此测试，SQL Server会抱怨密钥长度）。试一试，看看它是否能改善您的商业案例。

希望这会有所帮助。如果不是，请使用我关于使用Reporting Matrices或OLAP Cubes的建议。另请查看此链接：Pivot Transformation。如果你不能使用它们，甚至用编程语言自己编写PIVOT可能会表现得更好。

测试数据创建（使用全局临时值，以便我可以在SSMS的第二个选项卡中测试选择）：

CREATE TABLE ##table ( ProductId INT, CountryCodeID INT ,DataTypeID INT, Formula VARCHAR(1000) ,Yr INT, Letter VARCHAR(100) , Data FLOAT(53));
CREATE CLUSTERED INDEX tt ON ##table(ProductId, CountryCodeID, DataTypeID,Formula,Yr);

INSERT INTO ##table ( ProductId, CountryCodeID, DataTypeID, Formula, Yr, Letter, Data )
SELECT P.ProductID, C.CountryCodeID, D.DataTypeID, F.Formula, Y.Yr, L.Letter, RAND() AS Data
FROM (VALUES (1856),(1459),(1816),(238),(328),(444),(921),(1724),(155),(420),(795),(620),(1007),(153),(1659),(95),(952),(1476),(759),(1461),(1958),(1341),(116)) P(productID)
CROSS JOIN (VALUES (16),(302),(422),(36),(95),(744),(4),(285),(1849),(1402),(430),(835),(214),(1476),(711),(36),(142),(428),(768),(78),(510),(945),(1125)) C(CountryCodeID)
CROSS JOIN (VALUES (1120),(1121),(1122),(1123),(1124),(1125),(1126),(1127),(1128)) D(DataTypeID)
CROSS JOIN (VALUES ('A+B'),('A/B/(A+B+C+D+E+G)'),('A/B/(A+B+C+D+E)'),('A/B/(A+B+C+D)'),('A/B/(A+B+C)'),('A/B/(A+B)'),('A/B/(A+B+C+D+E+G+Z)')) F(Formula)
CROSS JOIN (VALUES (1977),(1978),(1979),(1980),(1981),(1982),(1983),(1984),(1985),(1986),(1987),(1988), (2000),(2001),(2002),(2003),(2004),(2005),(2006),(2007),(2008),(2009),(2010),(2011),(2012),(2013)) Y(Yr)
CROSS JOIN (VALUES ('A'),('B'),('C'),('D'),('E'),('F'),('G'),('H'),('J '),('K'),('L'),('M')) L(Letter) ;

在#final3生成数据：

SELECT 
    ProductID,
    CountryCodeId,
    DataTypeID,
    Formula,
    Yr,
    MAX(CASE WHEN Letter='A' THEN Data END) AS A,
    MAX(CASE WHEN Letter='B' THEN Data END) AS B,
    MAX(CASE WHEN Letter='C' THEN Data END) AS C,
    MAX(CASE WHEN Letter='D' THEN Data END) AS D,
    MAX(CASE WHEN Letter='E' THEN Data END) AS E,
    MAX(CASE WHEN Letter='F' THEN Data END) AS F,
    MAX(CASE WHEN Letter='G' THEN Data END) AS G,
    MAX(CASE WHEN Letter='H' THEN Data END) AS H,
    MAX(CASE WHEN Letter='J' THEN Data END) AS J,
    MAX(CASE WHEN Letter='K' THEN Data END) AS K,
    MAX(CASE WHEN Letter='L' THEN Data END) AS L,
    MAX(CASE WHEN Letter='M' THEN Data END) AS M
INTO 
    #Final3
FROM 
    ##table
GROUP BY
    ProductID,
    CountryCodeId,
    DataTypeID,
    Formula,
    Yr
ORDER BY 
    ProductID,
    CountryCodeID,
    Yr;