databricks-cli:在bash脚本中运行作业时JSONDecodeError

时间:2019-05-08 13:29:10

标签: json bash databricks

我正在尝试在Linux服务器上的bash脚本中使用笔记本参数运行Databricks作业。我正在按照docs的说明进行操作,并且已经验证了这些命令可以在终端中使用。

这是我的剧本:

#!/bin/bash

### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1"}'

### this command works fine in terminal and when running script
databricks runs list

我得到的错误是:

Error: JSONDecodeError: Expecting value: line 1 column 59 (char 58)

有趣的是,其他databricks-cli命令也可以使用,不需要JSON字符串参数。

1 个答案:

答案 0 :(得分:0)

我在问题中提供的脚本实际上并不代表我正在运行的脚本。

我实际上正在运行的脚本是这样的:

#!/bin/bash

currentdate=`date +\%Y\%m\%d`
RUNDATE=$(date "--date=${currentdate} - ${stepsize} day" +%Y%m%d)

### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1", "rundate":"$RUNDATE"}'

### this command works fine in terminal and when running script
databricks runs list

问题出在将变量传递给JSON。

工作版本是这样:

#!/bin/bash

stepsize=1
currentdate=`date +\%Y\%m\%d`
RUNDATE=$(date "--date=${currentdate} - ${stepsize} day" +%Y%m%d)

echo $rundate 

databricks jobs run-now --job-id 263 --notebook-params '{"param1":"value1", "rundate":"'"$RUNDATE"'"}'

databricks runs list