我正在维护一个项目,该项目使用许多Python库,例如numpy
,pandas
和netcdf4
,这些库具有libhdf5,ATLAS,LAPACK等依赖项。我在使用pip安装之前通过我的系统软件包管理器安装了这些库。现在需要列出所需的所有依赖项,包括C / Fortran依赖项。 (当然,pip freeze
和pipdeptree
的Python非常简单)有没有办法显示正在使用哪些链接的C / Fortran库?如果失败了,有没有办法显示使用C依赖项的Python库的构建选项?
编辑:this answer详细说明了如何通过numpy
为ldd
以及其他具有C依赖关系的库执行此操作。全面推荐的方法是什么?
答案 0 :(得分:2)
在Linux系统上,您可以获取动态链接器以转储您可以从中收集此类信息的各种调试信息(请参阅ld.so(8)
)。例如,我有一个名为plot_all
的python程序,如果我将其调用为:
LD_DEBUG=libs plot_all 2> ld-libs-output
然后动态链接器将其所有库文件信息输出到文件ld-libs-output
中。这将包含该文件运行的每个动态库依赖项。如果进一步处理,例如:
grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs
您将获得在执行python脚本过程中加载的所有唯一库的排序列表。如果要将其转换为依赖关系信息,可以使用分发工具将文件映射到包。在Gentoo上,我可以使用以下命令查询拥有这些库的包:
equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq
此命令的输出是在脚本执行期间拥有至少一个动态加载的库的所有包的排序列表:
app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm
这个列表非常详细,您可以看到它非常深入地依赖于依赖包,远远超出了我们真正需要的内容以及一些依赖于环境的内容(例如,对nvidia驱动程序的依赖不适用于没有nvidia显卡的人)。要将其转换为有用的列表,您必须查看依赖关系图并且仅依赖于顶级包,因为这些将隐式地引入它们下面的包。分析这些包的第一级依赖关系,所有这些包都可以使用最小列表拉入:
dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc
然后我会对我的python包中的任何其他脚本重复此操作,并将所有信息合并到我的包的主依赖项列表中。
这可以让您了解发现python脚本所依赖的发行包的一般工作流程。在我的例子中,python外部的所有C / Fortran依赖项都是由distro python包引入的,但是这个过程会发现所需的任何其他顶级包。需要将工作流修改为您的发行版工具,以便将文件与包匹配并分析依赖项。