Question

我们对livy的自包含pyspark模块的简单发布请求可以正常工作。但是，我们有多个pyspark模块使用的可重用组件。此外，我们的所有代码都是使用main.py参数从--job模块触发的。

下面是文件夹结构：

main.py
jobs.zip
     jobs
          job1
              __init__.py
          job2
              __init__.py

以下spark-submit命令运行正常。但是，我们试图找出如何使用--job传递livy api参数。

/usr/local/spark/bin/spark-submit \
--py-files jobs.zip \
src/main.py \
--job value1

Answer 1

使用下面的示例JSON，调用REST API到 /批次端点，

bool hasJumped = false; // Update is called once per frame void Update() { if (controller.isGrounded) { if (Input.GetKey(KeyCode.W)) { anim.SetBool("running", true); moveDirection = new Vector3(0, 0, 1); moveDirection *= speed; } if (Input.GetKeyUp(KeyCode.W)) { anim.SetBool("running", false); moveDirection = new Vector3(0, 0, 0); } if (Input.GetKeyDown(KeyCode.Space)) { anim.SetBool("jump", true); hasJumped = true; moveDirection.y = jumpSpeed; } else { anim.SetBool("jump", false); } } else { if (hasJumped && Input.GetKeyDown(KeyCode.Space)) { Debug.Log("Second Jump"); anim.SetBool("jump", true); hasJumped = false; moveDirection.y = jumpSpeed; } } moveDirection.y -= gravity * Time.deltaTime; controller.Move(moveDirection * Time.deltaTime); }

引用：https://livy.incubator.apache.org/docs/latest/rest-api.html

使用用户定义的参数通过livy提交pyspark作业

1 个答案: