Spark Job Server HTTP后期作业配置为JSON

Question

我正在使用Spark作业服务器运行Spark作业，我在其中使用HTTP帖子传递作业参数（非常类似于此处的单词计数示例：https://github.com/spark-jobserver/spark-jobserver）。

目前我可以成功将这些参数作为CSV列表传递。例如：

curl -d "param1 = val1, param2 = val2" 'localhost:8090/jobs?appName=app&classPath=class&sync=true&context=contextName'

是否可以以JSON格式封装这些参数？我尝试过没有成功的事情：

curl -H "Content-Type: application/json" -X POST -d '{"param1":"val1","param2":"val2"}' 'localhost:8080/...'

Answer 1

curl -d "@/tmp/test.json" 'localhost:8080/jobs?appName...'

您可以使用@符号传递json文件。请查看卷曲手册。

Answer 2

好的，我可以使用以下命令在POST正文中传递JSON内容：

curl -d "{"param1":"val1","param2":"val2"}" 'localhost:8080/jobs?appName...'

但是，我仍然希望能够在POST中传递实际的JSON文件，而不是仅传递JSON内容。有人可以赐教我吗？

Answer 3

尝试

curl --data-binary @path/to/config.json 'localhost:8090/jobs?appName=...'