持续部署气流

时间:2020-10-21 14:06:38

标签: kubernetes deployment airflow directed-acyclic-graphs

我在Kubernetes中部署了气流,它正在使用持久卷方法进行dag部署。我正在尝试编写一个脚本(使用CI / CD的GitHub动作)来部署我的气流障碍,就像-

DAGS=(./*.py)

for dag in ${DAGS[@]}; 
do
  kubectl cp "${dag}" --namespace=${NAMESPACE} ${WEB_SERVER_POD_NAME}:/path/to/dags/folder
done

我可以成功部署新的dag甚至更新它们。

但是问题是,我无法删除存在于气流的dags文件夹中的旧dags(我用于测试目的)。

有办法吗?

P.S。我不能使用以下命令,因为它会删除所有正在运行的dags-

kubectl exec --namespace=${NAMESPACE} ${WEB_SERVER_POD_NAME} -- bash -c "rm -rf /path/to/dags/folder/*"

1 个答案:

答案 0 :(得分:1)

我不认为这是您最初发布时的一个选项,但对于其他人来说:

Github Actions 可让您创建手动触发的工作流并接受输入值。 https://github.blog/changelog/2020-07-06-github-actions-manual-triggers-with-workflow_dispatch/

命令类似于:

{"id_product": 
  [
       {
        "quantity_to_bought_by_specefic_user":"532",
     "total":"412",
         "id_product":"4"
         }
]}