应用错误收集

使用pyre2（https://github.com/axiak/pyre2）时，遇到了性能问题（匹配时间）。

我有三个程序：

使用内置re模块的纯Python：https://gist.github.com/1873402
Python使用Pyre2：https://gist.github.com/1873402。（代码的大部分与no.1程序相同。除了使用内置re之外，它会将utf-8字符串解码为unicode，这在使用pyre2时不是必需的）
使用re2的C / C ++：https://gist.github.com/1873417

我测量了两次：正则表达式预编译时间和匹配时间。

no.1程序：1.65s 1.25s
no.2程序：0.04s 1.8s
no.3程序：0.02s 0.8s

它们全部由相同的正则表达式和输入提供。（所有正则表达式都由re2）

然后我按照Cython中关于性能分析的文档进行了操作。得到以下结果：

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
   652884   16.477    0.000   25.349    0.000 re2.pyx:394(_search)
     9479    6.059    0.001   41.806    0.004 export_plain.py:60(match)
   652884    4.243    0.000   33.602    0.000 {method 'search' of 're2.Pattern' objects}
   652884    4.010    0.000   29.359    0.000 re2.pyx:442(search)
   652884    3.056    0.000    3.056    0.000 re2.pyx:114(__init__)
   652953    2.145    0.000    2.145    0.000 {isinstance}
   652884    2.002    0.000    2.002    0.000 re2.pyx:123(__dealloc__)
   652953    1.911    0.000    1.911    0.000 re2.pyx:75(unicode_to_bytestring)
   652953    1.902    0.000    1.902    0.000 re2.pyx:86(pystring_to_bytestring)
        1    0.330    0.330   42.492   42.492 export_plain.py:98(export_fname)
     9479    0.173    0.000    0.173    0.000 {built-in method sub}
    10000    0.120    0.000    0.120    0.000 {method 'split' of 'str' objects}
     8967    0.063    0.000    0.099    0.000 re2.pyx:801(get)
    10069    0.061    0.000    0.061    0.000 {method 'strip' of 'str' objects}
       69    0.043    0.001    0.146    0.002 re2.pyx:806(prepare_pattern)
     9036    0.038    0.000    0.038    0.000 re2.pyx:788(__next)
       69    0.022    0.000    0.169    0.002 re2.pyx:905(_compile)
        1    0.005    0.005    0.177    0.177 export_plain.py:36(load)
       69    0.002    0.000    0.003    0.000 re2.pyx:784(__init__)
       69    0.001    0.000    0.170    0.002 re2.pyx:763(compile)
       38    0.001    0.000    0.001    0.000 {method 'write' of 'file' objects}
       69    0.001    0.000    0.171    0.002 {re2.compile}
        1    0.001    0.001   42.669   42.669 export_plain.py:160(main)
        3    0.000    0.000    0.000    0.000 {open}
       69    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
       19    0.000    0.000    0.000    0.000 {method 'join' of 'str' objects}
        1    0.000    0.000    0.000    0.000 genericpath.py:38(isdir)
        1    0.000    0.000   42.669   42.669 export_plain.py:153(run_re2_test)
        1    0.000    0.000    0.000    0.000 {posix.stat}
        4    0.000    0.000    0.000    0.000 {time.time}
        1    0.000    0.000    0.000    0.000 posixpath.py:59(join)
        1    0.000    0.000   42.670   42.670 :1()
        1    0.000    0.000    0.000    0.000 {method 'encode' of 'unicode' objects}
        3    0.000    0.000    0.000    0.000 {method 'rfind' of 'str' objects}
        2    0.000    0.000    0.000    0.000 posixpath.py:109(basename)
        1    0.000    0.000    0.000    0.000 posixpath.py:117(dirname)
        1    0.000    0.000    0.000    0.000 stat.py:40(S_ISDIR)
        2    0.000    0.000    0.000    0.000 {len}
        1    0.000    0.000    0.000    0.000 {method 'extend' of 'list' objects}
        1    0.000    0.000    0.000    0.000 {method 'startswith' of 'str' objects}
        1    0.000    0.000    0.000    0.000 {method 'endswith' of 'str' objects}
        1    0.000    0.000    0.000    0.000 stat.py:24(S_IFMT)
        1    0.000    0.000    0.000    0.000 {method '__enter__' of 'file' objects}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

看起来_search函数（re2.pyx：393）占用了太多时间。但我不知道这与纯C版本有什么不同。

PS： Pyre2修订版：提交543f228

re2修订版：变更集：79:0c439a6bd795

我想实际的Match函数（re2.pyx：424）在此函数中花费了大部分时间。

然后我将匹配函数重构为cdef函数_my_match，以便我可以在配置文件结果中看到它，还可以将重构StringPiece分配给cdef函数_alloc_sp。（修改细节：https://gist.github.com/1873993）重新描述它，然后得到：

Mon Feb 20 20:52:47 2012    Profile.prof

         3975043 function calls in 28.265 CPU seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
   652884   10.060    0.000   20.230    0.000 re2.pyx:452(search)
   652884    4.131    0.000   28.201    0.000 {method 'search' of 're2.Pattern' objects}
   652884    3.647    0.000    3.647    0.000 re2.pyx:394(_my_match)
     9479    3.037    0.000   31.238    0.003 export_plain.py:62(match)
   652884    2.901    0.000    2.901    0.000 re2.pyx:443(_alloc_sp)
   652953    1.814    0.000    1.814    0.000 re2.pyx:86(pystring_to_bytestring)
   652953    1.808    0.000    1.808    0.000 re2.pyx:75(unicode_to_bytestring)
        1    0.332    0.332   31.926   31.926 export_plain.py:96(export_fname)
     9479    0.169    0.000    0.169    0.000 {built-in method sub}
    10000    0.122    0.000    0.122    0.000 {method 'split' of 'str' objects}
     8967    0.065    0.000    0.099    0.000 re2.pyx:849(get)
    10069    0.064    0.000    0.064    0.000 {method 'strip' of 'str' objects}
       69    0.042    0.001    0.142    0.002 re2.pyx:854(prepare_pattern)
     9036    0.035    0.000    0.035    0.000 re2.pyx:836(__next)
       69    0.023    0.000    0.166    0.002 re2.pyx:953(_compile)
        1    0.003    0.003   32.103   32.103 export_plain.py:158(main)
        1    0.003    0.003    0.174    0.174 export_plain.py:36(load)
       69    0.002    0.000    0.168    0.002 re2.pyx:811(compile)
       38    0.001    0.000    0.001    0.000 {method 'write' of 'file' objects}
       69    0.001    0.000    0.169    0.002 {re2.compile}
       69    0.001    0.000    0.001    0.000 re2.pyx:832(__init__)
        1    0.001    0.001   32.104   32.104 export_plain.py:151(run_re2_test)
        1    0.000    0.000   32.105   32.105 :1()
        2    0.000    0.000    0.000    0.000 {len}
        3    0.000    0.000    0.000    0.000 {open}
        1    0.000    0.000    0.000    0.000 {method 'extend' of 'list' objects}
       69    0.000    0.000    0.000    0.000 {isinstance}
       69    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
       19    0.000    0.000    0.000    0.000 {method 'join' of 'str' objects}
        4    0.000    0.000    0.000    0.000 {time.time}
        1    0.000    0.000    0.000    0.000 {method 'encode' of 'unicode' objects}
        1    0.000    0.000    0.000    0.000 posixpath.py:59(join)
        1    0.000    0.000    0.000    0.000 {posix.stat}
        1    0.000    0.000    0.000    0.000 genericpath.py:38(isdir)
        2    0.000    0.000    0.000    0.000 posixpath.py:109(basename)
        3    0.000    0.000    0.000    0.000 {method 'rfind' of 'str' objects}
        1    0.000    0.000    0.000    0.000 posixpath.py:117(dirname)
        1    0.000    0.000    0.000    0.000 stat.py:40(S_ISDIR)
        1    0.000    0.000    0.000    0.000 {method 'startswith' of 'str' objects}
        1    0.000    0.000    0.000    0.000 {method 'endswith' of 'str' objects}
        1    0.000    0.000    0.000    0.000 {method '__enter__' of 'file' objects}
        1    0.000    0.000    0.000    0.000 stat.py:24(S_IFMT)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

但是search仍占用了这么多时间（总计10.060）。

任何人都可以找出问题所在？

嗯，这取决于... pyre2渐近更快，但对于每个特定的正则表达式来说不一定更快。原因是re2生成NFA并同时遍历所有活动状态。 re（如果我是正确的）一次只在NFA中尝试一个路径，如果失败，它会回溯并尝试不同的路径。这意味着可以做各种奇特的东西，比如前瞻等，因为它总是记住匹配给定字符串的路径，而re2只记住当前的活动状态。这意味着re2将告诉您字符串是否与正则表达式匹配，但它无法执行使用re对组进行的所有花哨计算。因此，pyre2具有线性渐近时间复杂度（以不支持内置re的一些语法为代价），而re具有指数渐近复杂度。然而，这并不意味着对于基本的简单正则表达式，pyre2必须表现得更好。

要记住的另一件事是：

您是从facebook repository还是从python package index下载了pyre2？如果你从python包索引下载，它将回退到内置的re库，如果它无法处理给定的正则表达式（所以我想可能会有一些小的开销） - 无论如何，如果你匹配正则表达式pyre2如果不支持，它将重新开始，至少不表现更好。

所以在没有看到你的正则表达式的情况下很难说，但我的猜测是因为以下原因之一，re2正在变慢：

您的正则表达式和与之匹配的字符串非常简单（在这种情况下，使用re2没有优势）
或者您从pypi下载了pyre2并且您正在捕获组并使用前瞻，re2不支持并且它会重新开始重新开始

由于你设法在C re2库中编译相同的正则表达式，我猜它是第一个原因，而不是第二个原因。

pyre2比内置的re模块慢？

1 个答案: