Question

我正在运行Airflow并尝试迭代我们正在从命令行构建的任务。

运行气流网络服务器时，一切都按预期工作。但是当我运行airflow backfill dag task '2017-08-12'时，气流会返回：

[2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using executor LocalExecutor
[2017-08-15 02:52:56,144] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow/dags
2017-08-15 02:52:59,055 - airflow.jobs.BackfillJob - INFO - Backfill done. Exiting

......并且实际上没有运行dag。

使用airflow test或airflow run时（即涉及运行任务而不是dag的命令），它按预期工作

我犯了一个基本错误吗？从这里我可以做些什么来调试？

由于

Answer 1

您是否已经在该日期范围内运行这些DAG？您需要先clear DAG然后backfill。根据马克西姆在这里提到的内容：https://groups.google.com/forum/#!topic/airbnb_airflow/gMY-sc0QVh0

Answer 2

如果某个任务有start_date个时间表，那么如果您尝试在月中Backfill done. Exiting.运行它，它只会说明'30 5 * * *'。如果任务的日程安排为backfill，则还会阻止命令行中的Dim sSQL As String Dim cRS As ADODB.Recordset Dim T As Long Dim b As Long Dim strLine As Variant sSQL = "" sSQL = "X, Y, Z from tblA” Set cRS = New Recordset cRS.Open sSQL, g_cn, adOpenStatic If cRS.RecordCount > 0 Then cRS.MoveLast T = cRS.RecordCount cRS.MoveFirst Else T = 0 End If Open filenameCSV For Output As #1 For b = 1 To T strLine = "" strLine = cRS!X & "," strLine = strLine & cRS!Y & "," strLine = strLine & cRS!Z & "," Print #1, , strLine cRS.MoveNext Next Close #1 cRS.Close Set cRS = Nothing

（更新以反映更好的信息，以及this discussion）

Answer 3

两个可能的原因：

通过-e选项指定的执行日期超出了DAG的[start_date, end_date)范围。
即使执行日期介于日期之间，也请记住，如果DAG具有schedule_interval=None，则不会迭代backfill：它只会运行一个日期（指定为{ {1}}或--start_date（如果省略第一个）。

气流返回“回填完成”而没有运行任务

3 个答案: