我向dbfs编写了以下脚本,但是群集高级管理员无法在群集上安装脚本(然后重新启动群集)。
我需要升级到完整的Databricks吗?或者,我是否应该在笔记本电脑上进行该机器学习系列的一部分,以获取数据并将其保存到Parquet,然后将Parquet文件上传到DBFS并运行其他三个笔记本电脑?
dbutils.fs.put("/hls/wfdb.sh", '''#!/bin/bash
set -ex
/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda activate /databricks/python
conda install -c conda-forge -y wfdb mlflow tqdm''')
安装代码后,我可以运行:
from wfdb import io