Question

我使用大量数据，这段代码的执行时间非常重要。每次迭代的结果都是相互依赖的，因此很难并行实现。如果有更快的方法来实现此代码的某些部分，例如：

，那将是非常棒的

在矩阵及其索引中找到max元素
使用另一行/列的最大值更改行/列中的值
删除特定的行和列

填充weights矩阵非常快。

代码执行以下操作：

它包含单词word_list列表，其中包含count个元素。在开始时，每个单词都是一个单独的列表。
它包含浮点值count的二维列表（count x weights）（下三角矩阵，i>=j为零的值）
在每次迭代中执行以下操作：
- 它找到两个具有最相似值的单词（矩阵中的最大元素及其索引）
- 它合并了它们的行和列，从每个单元格中的两个值中保存了更大的值
- 它合并word_list中的相应单词列表。它将两个列表保存在索引较小的列表（max_j）中，并删除索引较大的列表（max_i）。
如果最大值小于给定THRESHOLD

我可能会想到一个不同的算法来完成这项任务，但我现在没有任何想法，如果至少有一个小的性能改进就会很棒。

我尝试使用NumPy，但效果更差。

weights = fill_matrix(count, N, word_list)
while 1:
    # find the max element in the matrix and its indices 
    max_element = 0
    for i in range(count):
        max_e = max(weights[i])
        if max_e > max_element:
            max_element = max_e
            max_i = i
            max_j = weights[i].index(max_e)

    if max_element < THRESHOLD:
        break

    # reset the value of the max element
    weights[max_i][max_j] = 0

    # here it is important that always max_j is less than max i (since it's a lower triangular matrix)
    for j in range(count):
        weights[max_j][j] = max(weights[max_i][j], weights[max_j][j])

    for i in range(count):
        weights[i][max_j] = max(weights[i][max_j], weights[i][max_i])

    # compare the symmetrical elements, set the ones above to 0
    for i in range(count):
        for j in range(count):
            if i <= j:
                if weights[i][j] > weights[j][i]:
                    weights[j][i] = weights[i][j]
                weights[i][j] = 0

    # remove the max_i-th column
    for i in range(len(weights)):
        weights[i].pop(max_i)

    # remove the max_j-th row
    weights.pop(max_i)

    new_list = word_list[max_j]
    new_list += word_list[max_i]
    word_list[max_j] = new_list

    # remove the element that was recently merged into a cluster
    word_list.pop(max_i)
    count -= 1

Answer 1

这可能会有所帮助：

def max_ij(A):
    t1 = [max(list(enumerate(row)), key=lambda r: r[1]) for row in A]
    t2 = max(list(enumerate(t1)), key=lambda r:r[1][1])
    i, (j, max_) = t2
    return max_, i, j

Answer 2

这取决于你想要投入多少工作，但如果你真的关心速度，你应该研究Cython。 quick start tutorial给出了一些例子，从35％的加速到惊人的150倍加速（你需要付出一些额外的努力）。

改进Python中矩阵计算的执行时间

2 个答案: