无法在Databricks中导入上传的Python轮子

时间:2019-12-30 16:41:03

标签: python databricks python-wheel

Also posted on the official forum,在此处重新发布以获得可见性。

完成了here的所有步骤,以将自定义Python轮子上传到Databricks。我已经构建了一个名为somelongexamplename的简单测试轮,并使用Pyhton 3.5.2将其编译为.whl。这非常简单,只有一个模块带有一种打印"Hello world"的方法。

我已经在Databricks的工作区的Shared文件夹中创建了一个库,然后创建了一个自定义的Cluster(v5.5)并将轮子安装在该库上。下面的屏幕快照显示了群集中已安装的库以及已安装该库的群集。

library with successful installation

cluster with library installed

它在databricks-cli上类似可见,如下所示。

databricks-cli showing installation

在连接到测试集群的笔记本电脑上运行以下命令也会显示正确安装的车轮。

%sh
/databricks/python/bin/pip freeze

当我跑步时仍然如此:

import somelongexamplename

我得到:

ImportError                               Traceback (most recent call last)
<command-194690> in <module>()
----> 1 import somelongexamplename

ImportError: No module named 'somelongexamplename'

有人知道这可能是什么原因吗?我似乎找不到其他提供解决方案的在线资源。

2 个答案:

答案 0 :(得分:0)

工作正常。我安装了一个车轮pacakage并尝试导入。它已成功导入。只需尝试拆卸并重新连接笔记本电脑即可。

SuccessFully Installation of Wheel Package Successfully Imported the wheel package

答案 1 :(得分:0)

原来问题一直在我的setup.py文件中。我在packages方法中配置了错误的setup值。

最初是这样的:

setup(
    ...
    packages=find_packages(where='somelongexamplename'),
    package_dir={'': 'somelongexamplename'},
    ...
)

将其更改为此已修复:

setup(
    ...
    packages=['somelongexamplename'],
    ...
)

如果遇到此问题,请确保已正确配置车轮。