使用气流发送 csv

时间:2021-04-29 20:20:26

标签: airflow google-cloud-composer

嗨,我正在尝试发送一个文件,其中包含存储在 gcp 存储中的气流(作曲家)csv,但我无法附加它。 我收到错误“没有这样的文件或目录:'gs://bucket-test/test.csv'”

如果我不附加文件,邮件将正确发送。

另一个问题是:我可以在不将其保存到存储的情况下创建 csv 吗?并直接发送

output_file = 'gs://bucket-test/test.csv'

email_summary = email_operator.EmailOperator(
    task_id='email_summary',
    to=['test@gmail.com'],
    subject='Sample email',
    html_content="""
    test_01. 
    """,
    files=[output_file])

1 个答案:

答案 0 :(得分:0)

airflow 不能直接访问存储桶,所以必须先将文件下载到本地文件系统

download_file = GCSToLocalFilesystemOperator(
    task_id="download_file",
    object_name='test.csv',
    bucket='bucket-test',
    filename='/home/airflow/gcs/data/test.csv',
)
相关问题