我需要任务的状态,如果它在同一个dag中运行或更新或失败。所以我试图使用下面的代码得到它,虽然我没有输出......
Auto = PythonOperator(
task_id='test_sleep',
python_callable=execute_on_emr,
op_kwargs={'cmd':'python /home/hadoop/test/testsleep.py'},
dag=dag)
logger.info(Auto)
一旦气流上的特定任务完成,目的是杀死某些正在运行的任务。
问题是我如何获得任务的状态,例如它处于运行状态还是失败或成功
答案 0 :(得分:5)
好的,我想我知道你在做什么,我并不是真的同意它,但我会从答案开始。
一种直截了当但又很强硬的方式是查询task_instance表。我是postgres,但结构应该是一样的。首先通过db调用抓取task_ids和您感兴趣的任务的状态。
SELECT task_id, state
FROM task_instance
WHERE dag_id = '<dag_id_attrib>'
AND execution_date = '<execution_date_attrib>'
AND task_id = '<task_to_check>'
这应该为您提供您尝试监控的任务的状态(以及名称,以供参考)。状态存储为简单的小写字符串。
答案 1 :(得分:2)
您可以使用命令行界面:
airflow task_state [-h] [-sd SUBDIR] dag_id task_id execution_date
有关此内容的更多信息,请参阅官方气流文档:
答案 2 :(得分:2)
看看Priyank建议的负责命令行界面操作的代码。
def task_state(args):
dag = get_dag(args)
task = dag.get_task(task_id=args.task_id)
ti = TaskInstance(task, args.execution_date)
print(ti.current_state())
因此,看来您应该可以使用类似的代码轻松地在DAG代码库中完成此操作。
或者,您可以使用python的subprocess
库从代码内执行这些CLI操作。
答案 3 :(得分:1)
我正在做类似的事情。我需要检查一项任务是否成功完成了另一项任务的前10次。 taky2使我走上了正确的道路。其实很简单:
from airflow.models import TaskInstance
ti = TaskInstance(*your_task*, execution_date)
state = ti.current_state()
由于我要检查dag中的内容,因此不必指定dag。 我只是创建了一个函数来遍历过去的n_days并检查状态。
def check_status(**kwargs):
last_n_days = 10
for n in range(0,last_n_days):
date = kwargs['execution_date']- timedelta(n)
ti = TaskInstance(*my_task*, date) #my_task is the task you defined within the DAG rather than the task_id (as in the example below: check_success_task rather than 'check_success_days_before')
state = ti.current_state()
if state != 'success':
raise ValueError('Not all previous tasks successfully completed.')
调用该函数时,请确保设置Provide_context。
check_success_task = PythonOperator(
task_id='check_success_days_before',
python_callable= check_status,
provide_context=True,
dag=dag
)
更新: 当您想从另一个dag调用任务时,您需要这样调用它:
from airflow import configuration as conf
from airflow.models import DagBag, TaskInstance
dag_folder = conf.get('core','DAGS_FOLDER')
dagbag = DagBag(dag_folder)
check_dag = dagbag.dags[*my_dag_id*]
my_task = check_dag.get_task(*my_task_id*)
ti = TaskInstance(my_task, date)