Question

这是我对代码的第一次优化，我很兴奋。阅读一些文章，但我仍有一些问题。

1）首先，我的代码在下面花了那么多时间？我认为这是数组：array.append（len（set（line.split（））））。我在线阅读python工作列表更快，但我没有在这里看到使用列表。有人知道如何改进吗？

2）我还缺少其他任何改进吗？

3）此外，在线它说for循环减慢了很多代码。这可以改进吗？（我想用C编写代码最好，但是：D）

4）为什么人们建议总是看“ncalls”和“tottime”？对我来说，“percall”更有意义。它告诉你你的功能或电话有多快。

5）在正确的答案B类中，他应用了列表。他呢？对我来说，我仍然看到一个数组和一个FOR循环，假设减慢了速度。 Fastest way to grow a numpy numeric array

谢谢。

新cProfile结果：

 618384 function calls in 9.966 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    19686    3.927    0.000    4.897    0.000 <ipython-input-120-d8351bb3dd17>:14(f)
    78744    3.797    0.000    3.797    0.000 {numpy.core.multiarray.array}
    19686    0.948    0.000    0.948    0.000 {range}
    19686    0.252    0.000    0.252    0.000 {method 'partition' of 'numpy.ndarray' objects}
    19686    0.134    0.000    0.930    0.000 function_base.py:2896(_median)
        1    0.126    0.126    9.965    9.965 <ipython-input-120-d8351bb3dd17>:22(<module>)
    19686    0.125    0.000    0.351    0.000 _methods.py:53(_mean)
    19686    0.120    0.000    0.120    0.000 {method 'reduce' of 'numpy.ufunc' objects}
    19686    0.094    0.000    4.793    0.000 function_base.py:2747(_ureduce)
    19686    0.071    0.000    0.071    0.000 {method 'flatten' of 'numpy.ndarray' objects}
    19686    0.065    0.000    0.065    0.000 {method 'format' of 'str' objects}
    78744    0.055    0.000    3.852    0.000 numeric.py:464(asanyarray)

新代码：

import numpy
import cProfile

pr = cProfile.Profile()
pr.enable()

#paths to files
read_path = '../tweet_input/tweets.txt'
write_path = "../tweet_output/ft2.txt"


def f(a):  
    for i in range(0, len(array)):
        if a <= array[i]:
            array.insert(i, a)
            break
    if 0 == len(array):
        array.append(a)

try:
    with open(read_path) as inf, open(write_path, 'a') as outf:
        array = []
        #for every line (tweet) in the file
        for line in inf:                                            ###Loop is bad. Builtin function is good
            #append amount of unique words to the array
            wordCount = len(set(line.split()))
            #print wordCount, array
            f(wordCount)
            #write current median of the array to the file
            result = "{:.2f}\n".format(numpy.median(array))
            outf.write(result)
except IOError as e:
    print 'Operation failed: %s' % e.strerror


###Service
pr.disable()
pr.print_stats(sort = 'time')

OLD cProfile结果： 551211函数调用13.195秒订购方式：内部时间
ncalls tottime percall cumtime percall filename：lineno（function） 78744 10.193 0.000 10.193 0.000 {numpy.core.multiarray.array}

旧代码：

    with open(read_path) as inf, open(write_path, 'a') as outf:
        array = []
        #for every line in the file
        for line in inf:                            
            #append amount of unique words to the array
            array.append(len(set(line.split())))
            #write current median of the array to the file
            result = "{:.2f}\n".format(numpy.median(array))
            outf.write(result)

Answer 1

Numpy使用的是meadian finding algorithm，即O（n log n）。您每行调用numpy.meadian一次，因此您的算法最终为O（n ^ 2 log n）。

有几种方法可以改善这一点。一种是保持数组排序（即将每个元素插入维护排序顺序的位置）。每个插入采用O（n）（插入数组是一个线性时间操作），得到一个排序数组的中位数是O（1），所以这最终是O（n ^ 2）。

对于分析，您要查看的主要内容是tottime，因为这会告诉您程序在函数中花费了多少时间。在您的示例中，percall有时不是很有用，因为有时，如果您的函数较慢（高percall），但它只被调用几次（低numcalls）， tottime与其他功能相比最终无关紧要。

在Python中使用pstats和cProfile。如何让阵列工作更快？

1 个答案: