是否可以每天运行dag,每小时运行回填任务?

时间:2019-08-23 12:31:16

标签: airflow

所以我写了一个代码,将文本的前1小时和前2小时保存在一个文本文件中。

我需要做的是回填任务test1,以使任务每天每小时运行一次。

t2_bash = """
DATE='{{ ds }}'
schedule=$(date '+%Y%m%d ' --date="$DATE {{params.timing}}")
echo $schedule >> arvind_abraham.txt 
"""

with DAG('testing', default_args=custom_args, schedule_interval="@daily", concurrency=2) as dag:
        test1 = SSHOperator(
                     ssh_conn_id='h1',
                     task_id='spa1',
                     command=t2_bash,
                     params={"timing":"1 hour ago"})

        test2 = SSHOperator(
                     ssh_conn_id='h2',
                     task_id='spa2',       
                     command=t2_bash,
                     params={"timing":2 hours ago})

0 个答案:

没有答案