如何在数据库上运行python3?

时间:2018-01-04 23:55:54

标签: python databricks

我尝试在databricks(社区版)上运行我的机器学习代码,并且需要使用Orange3数据挖掘库。但是,当我尝试创建orange3库时,它会出现如下错误:

Error: java.lang.RuntimeException: Installation failed with message: Collecting orange3 Downloading Orange3-3.8.0.tar.gz (34.0MB) Complete output from command python setup.py egg_info: Orange requires Python >= 3.4 ---------------------------------------- mesg: ttyname failed: Inappropriate ioctl for device Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-DnpIcU/orange3/

我想这意味着我需要python3来安装库,但databricks上的默认版本是python2。我想知道如何将其更改为python3。

我还在databricks论坛上搜索并找到这篇文章(https://docs.databricks.com/api/latest/examples.html#create-a-python-3-cluster)。

但是,我还是不太了解如何创建python3-cluster。这是否意味着我需要使用Cluster API来定制一个需要收取额外费用的集群?

感谢任何帮助!!

1 个答案:

答案 0 :(得分:3)

是的,您需要使用REST API。您需要登录社区版时的网址(例如https://community.cloud.databricks.com/?o=12345

然后你需要稍微调整JSON,如下所示:

curl -u 'username:password' -n -H "Content-Type: application/json" -X POST -d @- https://community.cloud.databricks.com/api/2.0/clusters/create?o=12345 <<JSON
> {
>   "cluster_name": "python-3-demo",
>   "num_workers": 0,
>   "node_type_id": "dev-tier-node",
>   "spark_version": "3.4.x-scala2.11",
>   "spark_env_vars": {
>     "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
>   }
> }
> JSON