Question

我是气流的新手，我正在尝试使用GoogleCloudStorageDownloadOperator进行一些简单的操作：

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'schedule_interval': None,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'params': {
        'work_dir': '/tmp'
    }
}

dag = DAG(
    'foo',
    default_args=default_args,
    description='This is foobar',
    schedule_interval=timedelta(weeks=1),
    dagrun_timeout=timedelta(minutes=60))

mock_download = GoogleCloudStorageDownloadOperator(
    task_id='download-foo-from-gcp',
    bucket='foo-data',
    object='{% if (task_instance.pid % 2 == 0) %}foo{% else %}bar{% endif %}/data.tar.gz',
    filename='{{ params.work_dir }}/data.tar.gz',
    google_cloud_storage_conn_id='google_cloud_default',
    dag=dag
)

例如，虽然我可以在PyCharm中运行此任务（使用airflow test），但从Web界面触发（计划的）后，它始终会失败。至少可以说，日志中的错误消息完全没有用：

... 
[2020-01-09 17:04:18,871] {gcs_download_operator.py:86} INFO - Executing download: crunchbase-mock-data, foo/data.tar.gz, /tmp/data.tar.gz
[2020-01-09 17:04:28,751] {logging_mixin.py:112} INFO - [2020-01-09 17:04:28,751] {local_task_job.py:103} INFO - Task exited with return code -6

有人能对此有所启示吗？ -6应该是什么意思？有没有办法查看那里发生的事情的更多细节？

Answer 1

有人可以对此进行解释吗？ -6应该是什么意思？

There is合同

负值-N表示孩子已被信号终止 N（仅适用于POSIX）。

在您的情况下，这意味着该进程已由SIGABRT（代码6）信号终止

有没有办法查看那里发生的事情的更多细节？

您的网站没有太多的背景信息。通常，尝试使用不同的运算符和文件。另外，从我的角度来看，Airflow并没有得到很好的记录。我建议检查气流来源。

GoogleCloudStorageDownloadOperator“任务已退出，返回码为-6”

1 个答案: