Question

作为我正在进行的项目的一部分，我需要计算<xsl:variable name="extractedUrl" select="user:ExtractUrl(.)"></xsl:variable>向量之间的均方误差。

基本上我有两个矩阵XsltSettings settings = new XsltSettings(false, true); // enable script execution XsltCompiledTransform transform = new XslCompiledTransform(); transform.Load("template.xsl", settings, new XmlUrlResolver());和2m，两者的大小x都是xhat，我感兴趣的向量是这些向量的行。

我使用此代码计算MSE

它正常工作，这个公式是正确的。

问题在于，在我的具体情况下，我的n和def cost(x, xhat): #mean squared error between x the data and xhat the output of the machine return (1.0/(2 * m)) * np.trace(np.dot(x-xhat,(x-xhat).T))非常大。具体而言，m和n。因此，当我运行我的代码并进入此函数时，我收到内存错误。

有更好的方法来计算MSE吗？我宁愿避免循环而且我非常倾向于矩阵乘法，但矩阵乘法在这里似乎非常浪费。也许是我不知道的那些笨拙的东西？

Answer 1

表达式np.dot(x-xhat,(x-xhat).T)创建一个形状为（m，m）的数组。你说m是60000，所以这个数组几乎是29千兆字节。

您获取数组的跟踪，这只是对角线元素的总和，因此大部分巨大的数组都未使用。如果仔细查看np.trace(np.dot(x-xhat,(x-xhat).T))，您会发现它只是x - xhat所有元素的平方和。因此，计算np.trace(np.dot(x-xhat,(x-xhat).T))不需要庞大的中间数组的简单方法是((x - xhat)**2).sum()。例如，

In [44]: x
Out[44]: 
array([[ 0.87167186,  0.96838389,  0.72545457],
       [ 0.05803253,  0.57355625,  0.12732163],
       [ 0.00874702,  0.01555692,  0.76742386],
       [ 0.4130838 ,  0.89307633,  0.49532327],
       [ 0.15929044,  0.27025289,  0.75999848]])

In [45]: xhat
Out[45]: 
array([[ 0.20825392,  0.63991699,  0.28896932],
       [ 0.67658621,  0.64919721,  0.31624655],
       [ 0.39460861,  0.33057769,  0.24542263],
       [ 0.10694332,  0.28030777,  0.53177585],
       [ 0.21066692,  0.53096774,  0.65551612]])

In [46]: np.trace(np.dot(x-xhat,(x-xhat).T))
Out[46]: 2.2352330441581061

In [47]: ((x - xhat)**2).sum()
Out[47]: 2.2352330441581061

有关计算MSE的更多想法，请参阅评论中的link provided by user1984065。

Answer 2

如果你还要考虑性能，计算差异平方和的另一种方法可能是使用np.einsum，就像这样 -

subs = x-xhat
out = np.einsum('ij,ij',subs,subs)

执行矩阵乘法时的内存错误

2 个答案: