我尝试在databricks(社区版)上运行我的机器学习代码,并且需要使用Orange3数据挖掘库。但是,当我尝试创建orange3库时,它会出现如下错误:
Error: java.lang.RuntimeException: Installation failed with message: Collecting orange3 Downloading Orange3-3.8.0.tar.gz (34.0MB) Complete output from command python setup.py egg_info: Orange requires Python >= 3.4 ---------------------------------------- mesg: ttyname failed: Inappropriate ioctl for device Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-DnpIcU/orange3/
我想这意味着我需要python3来安装库,但databricks上的默认版本是python2。我想知道如何将其更改为python3。
我还在databricks论坛上搜索并找到这篇文章(https://docs.databricks.com/api/latest/examples.html#create-a-python-3-cluster)。
但是,我还是不太了解如何创建python3-cluster。这是否意味着我需要使用Cluster API来定制一个需要收取额外费用的集群?
感谢任何帮助!!
答案 0 :(得分:3)
是的,您需要使用REST API。您需要登录社区版时的网址(例如https://community.cloud.databricks.com/?o=12345
)
然后你需要稍微调整JSON,如下所示:
curl -u 'username:password' -n -H "Content-Type: application/json" -X POST -d @- https://community.cloud.databricks.com/api/2.0/clusters/create?o=12345 <<JSON
> {
> "cluster_name": "python-3-demo",
> "num_workers": 0,
> "node_type_id": "dev-tier-node",
> "spark_version": "3.4.x-scala2.11",
> "spark_env_vars": {
> "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
> }
> }
> JSON