我正在尝试在Linux服务器上的bash脚本中使用笔记本参数运行Databricks作业。我正在按照docs的说明进行操作,并且已经验证了这些命令可以在终端中使用。
这是我的剧本:
#!/bin/bash
### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1"}'
### this command works fine in terminal and when running script
databricks runs list
我得到的错误是:
Error: JSONDecodeError: Expecting value: line 1 column 59 (char 58)
有趣的是,其他databricks-cli
命令也可以使用,不需要JSON字符串参数。
答案 0 :(得分:0)
我在问题中提供的脚本实际上并不代表我正在运行的脚本。
我实际上正在运行的脚本是这样的:
#!/bin/bash
currentdate=`date +\%Y\%m\%d`
RUNDATE=$(date "--date=${currentdate} - ${stepsize} day" +%Y%m%d)
### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1", "rundate":"$RUNDATE"}'
### this command works fine in terminal and when running script
databricks runs list
问题出在将变量传递给JSON。
工作版本是这样:
#!/bin/bash
stepsize=1
currentdate=`date +\%Y\%m\%d`
RUNDATE=$(date "--date=${currentdate} - ${stepsize} day" +%Y%m%d)
echo $rundate
databricks jobs run-now --job-id 263 --notebook-params '{"param1":"value1", "rundate":"'"$RUNDATE"'"}'
databricks runs list