我正在尝试创建一个使用 apache 光束将数据写入雪花的管道。为了写入数据,我使用了 WriteToSnowflakes 函数,但收到以下错误消息。
TypeError: init() 缺少 1 个必需的位置参数:'user_data_mapper'
当我搜索这个论点时,我创建了这个链接
https://beam.apache.org/documentation/io/built-in/snowflake/#required-parameters-1
但我无法理解这个功能。这个“用户”参数是什么意思,定义它的方式和位置,以及必须从管道传递给这个函数的数据。任何人都可以帮我提供一些此参数的示例代码。
示例代码:
with TestPipeline(options=PipelineOptions(OPTIONS)) as p:
(p
| <SOURCE OF DATA>
| WriteToSnowflake(
server_name=<SNOWFLAKE SERVER NAME>,
username=<SNOWFLAKE USERNAME>,
password=<SNOWFLAKE PASSWORD>,
schema=<SNOWFLAKE SCHEMA>,
database=<SNOWFLAKE DATABASE>,
staging_bucket_name=<GCS OR S3 BUCKET>,
storage_integration_name=<SNOWFLAKE STORAGE INTEGRATION NAME>,
table_schema=<SNOWFLAKE TABLE SCHEMA>,
table=<SNOWFLAKE TABLE>,
create_disposition='CREATE_NEVER',
write_disposition= 'WRITE_TRUNCATE',
)