所以我写了一个代码,将文本的前1小时和前2小时保存在一个文本文件中。
我需要做的是回填任务test1,以使任务每天每小时运行一次。
t2_bash = """
DATE='{{ ds }}'
schedule=$(date '+%Y%m%d ' --date="$DATE {{params.timing}}")
echo $schedule >> arvind_abraham.txt
"""
with DAG('testing', default_args=custom_args, schedule_interval="@daily", concurrency=2) as dag:
test1 = SSHOperator(
ssh_conn_id='h1',
task_id='spa1',
command=t2_bash,
params={"timing":"1 hour ago"})
test2 = SSHOperator(
ssh_conn_id='h2',
task_id='spa2',
command=t2_bash,
params={"timing":2 hours ago})