气流.gz文件大小限制?

时间:2020-09-20 12:31:46

标签: airflow airflow-operator

每当我的.gz文件超过2 GB大小限制时,我都会收到此错误“字符串长于2147483647字节”。无论如何,我可以忽略它还是解决这个问题?

task1 = FileToGoogleCloudStorageOperator(
task_id='task1',
bucket='myBucket',
src='/mypath/myfile.csv',
dst='myfileGCS.csv',
gzip=True,
google_cloud_storage_conn_id='gc_cloud_conn',
mime_type='text/plain',
dag=dag)

0 个答案:

没有答案