您好,我尝试清除DAG,但是后来在我的任务上出现了blue state in Airflow Webserver中描述的关闭状态。这是预期的行为吗?清除DAG后如何避免这种情况?
最好!
答案 0 :(得分:2)
在这种状态下,气流只有a tiny amount of documentation,但是蓝色的from pyspark.sql.functions import udf
spark.udf.register('ByteArrayToDouble', lambda x: int.from_bytes(x, byteorder='big', signed=False) / 10e5)
spark.sql('select myfield, ByteArrayToDouble(myfield) myfield_python, convert_binary(hex(myfield))/1000000 myfield_scala from my_table').show(1, False)
+-------------+-----------------+----------------+
|myfield |myfield_python |myfield_scala |
+-------------+-----------------+----------------+
|[52 F4 92 80]|1391.76 |1391.76 |
+-------------+-----------------+----------------+
only showing top 1 row
状态是在任务从外部来源收到关机命令时发生的。这通常在气流工作人员收到杀死信号时发生。例如,在部署期间,您可能会杀死正在运行的工作程序以加载新代码。
我不确定清除DAG是什么意思(当您从Airflow UI清除任务时是什么意思?),但这也许向工作人员发出了致命的信号?