Question

我正在尝试将通过yaml文件配置的火花提交作业转换为气流dag，并通过气流运行它。当我尝试安装卷并加载配置映射时，作业失败。大量的代码装载块在yaml中是这样的

  volumeMounts:
    - mountPath: /etc/jtp
      name: config-vol

要加载的配置映射是这样的

  volumes:
  - configMap:
      name: qa-jtp-llt
    name: config-vol

现在，当我尝试将相同的内容翻译为我的dag时，它会转换为类似的内容

from kubernetes.client import models as k8s
from airflow import DAG
from datetime import timedelta
from datetime import datetime
from airflow.utils.dates import days_ago
from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
from airflow.utils.trigger_rule import TriggerRule


volume_mount = k8s.V1VolumeMount(name='config-vol', mount_path='/etc/jtp', sub_path=None, read_only=True)

configmaps = [k8s.V1EnvFromSource(config_map_ref=k8s.V1ConfigMapEnvSource(name='config_name'))]

volume = k8s.V1Volume(
    name='config-vol',
    persistent_volume_claim=k8s.V1PersistentVolumeClaimVolumeSource(claim_name='config-vol'),
)

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'wait_for_downstream': False,
    'start_date': datetime(2020, 10, 8),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'max_active_runs': 1,
    'catchup': True
}   a


dag = DAG(
    'sample_job',
    default_args=default_args,
    description='sample job to run on kubernetes-pod-operator',
    schedule_interval=None,
)

sample_job = KubernetesPodOperator(
        task_id='task-1',
        name='sample-job',
        namespace='namespace1',
        image='image_name',
        image_pull_policy='Always',
        volumes=[volume],
        volume_mounts=[volume_mount],
        configmaps=configmaps,
        cmds=["/opt/entrypoint.sh", "driver"],
        arguments=[
            '--class', 'something.thisthing.mainclass',
            'myjar_file_name.jar',
            'property_file_1.properties',
            'property_file_2.properties',
        ],
        dag=dag,
    )

我正在尝试在airflow 2.0.0版本上使用kubernetes pod运算符。我面临的问题是，当我在Airflow上运行此作业时，这又为该作业启动了一个本地容器，而该容器又应在运行该任务的名称空间中启动另一个容器。但是应该运行该任务的第二个Pod无法启动，并且没有错误消息。当我删除卷规范的所有组件（例如，vol，volume_mount，config_map）时，名称空间中的第二个pod产生，并给出无法找到属性文件的错误消息。我想念什么??我在这里做错了什么？尝试启动它的各种方法均失败了，因此向该社区寻求帮助。

谢谢

Answer 1

您很有可能在“ namespace1”命名空间中没有名称为“ config-vol”的pvc。

您需要为V1VolumeMount（name ='existing-pvc-name'，...）提供正确的PVC名称

您应该能够使用以下命令列出该命名空间中的可用pvc：

kubectl -n namespace1 get pvc

Kubernetes吊舱操作员卷安装失败，导致没有产生吊舱

1 个答案: