Question

试图使HDFSSensor工作。我已经建立了hdfs连接，并且文件在那里，但是它一直在戳文件，但从未完成

戳文件hdfs：// user / airflow / stamps / test / ds = 2018-10-15 / _SUCCESS

代码如下

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

实际上，它在路径中没有文件名的情况下都可以工作。我还想在创建hdfs连接时再添加一点，您需要使用hdfs端口号而不是webhdfs端口，即8020（如果是localhost则可以是9000），而不是webhdfs端口，例如50070

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

非常感谢你们俩尝试帮助我

Answer 1

尝试在没有协议的情况下使用filepath设置。喜欢：

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

气流HDFS传感器

1 个答案: