Python:在一系列脚本中共享公共代码

时间:2013-08-06 17:53:40

标签: python python-module pythonpath

我正在一个项目中编写一系列Python脚本;每个脚本都在项目的子目录中,如下所示:

projectroot
  |
  |- subproject1
  |    |
  |    |- script1.main.py
  |    `- script1.merger.py
  |
  |- subproject2
  |    |
  |    |- script2.main.py
  |    |- script2.matcher.py
  |    `- script2.merger.py
  |
  `- subproject3
       |
       |- script3.main.py
       |- script3.converter.py
       |- script3.matcher.py
       `- script3.merger.py

现在有几个脚本共享一些代码。共享代码最好被认为是项目本身的一部分,而不是我单独编译并创建一个库,或者放入一个全站的PYTHONPATH。我可以将代码放在不同的地方,例如projectroot目录本身,或者projectroot的{​​{1}}子目录(可能)。

然而,到目前为止,我所考虑的大多数方法都涉及使用空common文件从我的子项目中创建包并使用相对导入(或在每个子项目中冗余地弄乱__init__.py。更糟糕的是,似乎围绕这个脚本系列构建一个包结构会违反被拒绝的PEP-3122的以下警告:

  

注意!该PEP已被拒绝。 Guido将包中的脚本视为反模式。

如果包中的脚本是反模式的,那么如何以一种将公共代码保存在同一项目中的方式进行设置?或者这里是否可以接受基于模块和包的系统?哪种方法最干净? (FWIW我更喜欢在项目根目录中有一个sys.pathshared.py这样的文件,而不是创建一个实用程序目录,它是“真正的”子项目的兄弟。)

4 个答案:

答案 0 :(得分:25)

我建议将琐碎的“启动程序”脚本放在项目的顶层,并将每个子项目文件夹放入包中。包中的模块可以相互导入,也可以将公共代码分解到common包中。

如果我们假设各种merger模块可以重构为共享版本,那么这就是结构的样子:

projectroot
  |- script1.py # launcher scripts, see below for example code
  |- script2.py
  |- script3.py
  |
  |- common
  |    |- __init__.py
  |    |- merger.py # from other packages, use from ..common import merger to get this
  |
  |- subproject1
  |    |- __init__.py # this can be empty
  |    |- script1_main.py
  |
  |- subproject2
  |    |- __init__.py
  |    |- script2_main.py
  |    |- script2_matcher.py
  |
  |- subproject3
       |- __init__.py
       |- script3_main.py
       |- script3_converter.py
       |- script3_matcher.py

启动器脚本可以非常简单:

from subproject1 import script1_main

if __name__ == "__main__":
    script1_main.main()

也就是说,只需导入相应的“scriptN_main”模块并在其中运行一个函数即可。使用简单的脚本也可能对脚本启动速度有一些小的好处,因为main模块可以将其编译的字节码缓存到.pyc文件,而脚本永远不会被缓存。

注意:我重命名了您的模块,为_字符交换了.个字符。您不能在标识符(例如模块名称)中使用.,因为Python期望它指示属性访问。这意味着永远不能导入这些模块。 (我猜这只是示例文件的工件,而不是你真实代码中的东西。)

答案 1 :(得分:0)

我的偏好是一个单独的“bin”或“scripts”目录,子项目作为库/包:

projectroot
  |
  |- scripts
  |
  |- lib
  |    |
  |    `- matcher.py
  |    `- merger.py
  |    `- subproject1
  |    `- subproject2
  |    `- subproject3

作为您的脚本的想法可以引用任何必要的子项目作为通常的包。您的子项目也可以通过导入相互引用。

如果有帮助,您还可以拥有一个主要或共享脚本来为您设置子项目包。

答案 2 :(得分:0)

Please use setuptools分发脚本库:

e.g。

from setuptools import setup

setup(
    # other arguments here... (e.g. packages / package_dir)
    entry_points = {
        'console_scripts': [
            'script1 = subproject1.script1:main',
            'script2 = subproject2.script2:main',
        ],
    }
)

如果您可以将所有代码编写为库,并且不需要单独的模块来获取入口点,那么这就是您的工具。如果你有脚本,那也没关系,但你需要一个main函数你可以参考(参见上面的例子)

答案 3 :(得分:0)

我最近发现了这种技术,它似乎适用于 Python 3.9。它与 Blckknght 的答案差别不大,但它避免了在 projectroot 本身中为每个子项目运行脚本的需要。

projectroot
  |
  |- common
  |    |
  |    `- merger.py
  |
  |- subproject1
  |    |
  |    `- __main__.py
  |
  |- subproject2
  |    |
  |    |- __main__.py
  |    `- matcher.py

projectroot 目录运行

python -m subproject1
python -m subproject2

实际上,您将 subproject1subproject2 视为“应用程序包”。

subproject1 和 subproject2 似乎都可以直接import common.merger,无需任何特殊措施,例如破解导入路径。

有一个小故障,可能重要也可能不重要。在每个子项目中,导入根目录为 projectroot,因此您必须在项目本身中使用绝对导入或显式相对导入。

import .matcher

import subproject2.matcher

但不是

import matcher # ModuleNotFoundError: No module named 'matcher'

另一个缺点是它需要一个可能不明显的 -m 标志来运行应用程序。