在Python中以编程方式确定distutils数据文件的位置

时间:2011-12-25 06:24:47

标签: python packaging setuptools distutils python-module

我正在尝试在distutils中为我的包包含数据文件,然后使用相对路径引用它们(在http://docs.python.org/distutils/setupscript.html#distutils-additional-files之后)

我的目标结构是:

myproject/
  mycode.py
  data/
    file1.dat

mycode.py中的代码,它实际上是包中的脚本。它依赖于访问data/file1.dat,使用该相对路径引用它。在setup.py,我有:

setup(
 ...
 scripts = "myproject/mycode.py"
 data_files = [('data', 'myproject/data/file1.dat')]
)

假设用户现在使用:

python setup.py --prefix=/home/user/

然后mycode.py会出现在/home/user/bin/等某个地方。但是对data/file1.dat的引用现在已被破坏,因为该脚本存在于数据的其他地方。

如何从mycode.py找到myproject/data/file1.dat的绝对路径,以便我可以根据用户安装包的位置正确引用它?

修改
当我使用prefix=/home/user/安装时,我在data/file1.dat中创建了/home/user/这正是我想要的,唯一缺少的是如何以编程方式检索此文件的绝对路径,仅给出相对路径,不知道用户安装包的位置。当我尝试使用package_data代替data_files时,它不起作用 - 即使我删除了data/file1.dat文件,我也无法在任何地方创建MANIFEST

我已经阅读了目前关于这个看似非常普遍的问题的所有讨论。但是,所有提议的解决方案都没有处理我上面的情况,需要访问data_files的代码是脚本,其位置可能会根据{{1}而改变} --prefix的参数。我能想到解决此问题的唯一方法是将数据文件添加到setup.py中的scripts=,如下所示:

setup()

这是一个可怕的黑客,但这是我能想到的唯一方法,以确保setup( ... scripts = ["myproject/mycode.py", "myproject/data/file1.data"] ) file1.data中定义的脚本位于同一位置,因为我找不到任何平台独立和安装敏感API,以便在用户运行scripts=之后恢复data_files的位置(可能包含setup.py install args)。

3 个答案:

答案 0 :(得分:11)

我认为混淆源于脚本的使用。脚本应该引用一个可运行的可执行文件,可能是与您的软件包相关的实用程序脚本,也可能是您的软件包功能的入口点。在任何一种情况下,您都应该期望任何脚本不会与包的其余部分一起安装。这种期望主要是由于包被认为是库(并安装到lib目录)的惯例,而脚本被认为是可执行文件(并安装到bin或Scripts目录)。此外,数据文件既不是可执行文件也不是库,而是完全独立的。

因此,从脚本中,您需要确定数据文件的位置。根据{{​​3}},

  

如果directory是相对路径,则相对于该路径进行解释   安装前缀。

因此,您应该在mycode脚本中编写类似以下内容的内容来查找数据文件:

import sys
import os

def my_func():
    with open(os.path.join(sys.prefix, 'data', 'file1.dat')) as f:
        print(next(f))

if __name__ == '__main__':
    my_func()

如果您对代码和数据没有捆绑在一起的方式不满意(我不会),那么我会重新构建您的包,以便您拥有一个实际的Python包(和模块)并使用包=和package_data =将数据注入包中,然后创建一个调用包中模块的简单脚本。

我是通过创建这棵树来做到的:

.
│   setup.py
│
├───myproject
│   │   mycode.py
│   │   __init__.py
│   │
│   └───data
│           file1.dat
│
└───scripts
        run-my-code.py

使用setup.py:

from distutils.core import setup

setup(
    name='myproject',
    version='1.0',
    scripts=['scripts/run-my-code.py'],
    packages=['myproject'],
    package_data = {
        'myproject': ['data/file1.dat'],
    },
)

run-my-code.py只是:

from myproject import mycode

mycode.my_func()

__init__为空,mycode.py如下:

import os

here = os.path.dirname(__file__)

def my_func():
    with open(os.path.join(here, 'data', 'file1.dat')) as f:
        print(next(f))

后一种方法将数据和代码捆绑在一起(在site-packages / myproject中),并且只将脚本安装在不同的位置(因此它显示在$ PATH中)。

答案 1 :(得分:4)

您应该能够使用pkg_resources.resource_filename获取data_files中文件的文件名。

答案 2 :(得分:0)

对于在Windows / Linux导入virtualenvpip os内部/外部正常运行的解决方案,请运行:

os.path.join(os.path.split(os.path.split(pip.__file__)[0])[0]

完整示例

from setuptools import setup, find_packages
from os import path
from functools import partial
from pip import __file__ as pip_loc


if __name__ == '__main__':
    package_name = 'gen'

    templates_join = partial(path.join, path.dirname(__file__),
                             package_name, 'templates')
    install_to = path.join(path.split(path.split(pip_loc)[0])[0],
                           package_name, 'templates')

    setup(
        name=package_name,
        version='0.0.1',
        test_suite=package_name + '.tests',
        packages=find_packages(),
        package_dir={package_name: package_name},
        data_files=[(install_to, [templates_join('.gitignore'),
                                  templates_join('logging.conf')])]
    )

参考(我自己):https://stackoverflow.com/a/29120636