气流,折叠传感器和任务触发器

时间:2020-07-01 16:05:24

标签: file directory triggers airflow sensors

大家好,我在创建可以执行以下操作的文件传感器时遇到了一些麻烦 检测文件夹中的文档 如果该文件夹中的任何文件被修改(即创建,删除等),则返回打印语句 如果将文件添加到该文件夹​​,则触发特定任务运行。 (例如,任务1触发后立即运行。) 这是我目前的代码。它可以检测文件是否存在,但是如果文件不存在,则不会返回失败或打印语句。谢谢

default_args = {
    "depends_on_past" : False,
    "start_date"      : airflow.utils.dates.days_ago( 1 ),
    "retries"         : 1,
    "retry_delay"     : datetime.timedelta( hours= 5 ),
}

with airflow.DAG("file_sensor_test_v3", 
                 default_args=default_args, 
                 schedule_interval="*/5 * * * *") as dag:

    start_task  = DummyOperator(  task_id= "start" )
    stop_task   = DummyOperator(  task_id= "stop"  )
    sensor_task = FileSensor( task_id= "my_file_sensor_task", poke_interval= 30, fs_conn_id= 'fs_default', filepath= '/path/to/file/' )

start_task >> sensor_task >> stop_task

(先前已从堆栈溢出中修改了代码)

0 个答案:

没有答案