如何使用kubernetes执行程序为气流工作人员吊舱全局设置request_cpu？

Question

我正在尝试在Kubernetes执行器中为Airflow设置request_cpu参数，但是找不到在哪里可以做到这一点。在default airflow config中，我发现了default_cpus，但是根据this answer，没有地方可以使用，在Kubernetes部分中也没有其他地方可以找到对CPU请求的引用。

如何在Airflow Kubernetes执行器中设置request_cpu参数？

编辑： 理想情况下，我希望将其设置为全局默认值，而不是基于每个操作员，尽管总的来说，我认为按每个操作员/任务设置它确实更有意义

Answer 1

您可以在任务级别为KubernetesExecutor设置此executor_config，如下所示。

    exmaple_task = PythonOperator(
        task_id="exmaple_task",
        python_callable=print_stuff,
        executor_config={
            "KubernetesExecutor": {"request_cpu": "1",
                                   "request_memory": "128Mi",
                                   "limit_memory": "128Mi"}}
    )

您可以在executor_config中定义以下内容：

• 图片
• image_pull_policy
• request_memory
• request_cpu
• limit_memory
• limit_cpu
• limit_gpu
• node_selectors
• 亲和力
• 公差
• 注释
• 音量
• volume_mounts
• volume_mounts

文档：https://airflow.apache.org/docs/1.10.9/_api/airflow/contrib/executors/kubernetes_executor/index.html#airflow.contrib.executors.kubernetes_executor.KubernetesExecutorConfig