如何将“user_data_mapper”参数传递给梁管道的 WriteToSnowflake 函数?

时间:2021-04-09 06:38:39

标签: google-cloud-platform snowflake-cloud-data-platform pipeline apache-beam-io

我正在尝试创建一个使用 apache 光束将数据写入雪花的管道。为了写入数据,我使用了 WriteToSnowflakes 函数,但收到以下错误消息。

TypeError: init() 缺少 1 个必需的位置参数:'user_data_mapper'

当我搜索这个论点时,我创建了这个链接
https://beam.apache.org/documentation/io/built-in/snowflake/#required-parameters-1
但我无法理解这个功能。这个“用户”参数是什么意思,定义它的方式和位置,以及必须从管道传递给这个函数的数据。任何人都可以帮我提供一些此参数的示例代码。

示例代码:

     with TestPipeline(options=PipelineOptions(OPTIONS)) as p:
      (p
       
       | <SOURCE OF DATA>
       | WriteToSnowflake(
       server_name=<SNOWFLAKE SERVER NAME>,
       username=<SNOWFLAKE USERNAME>,
       password=<SNOWFLAKE PASSWORD>,
       schema=<SNOWFLAKE SCHEMA>,
       database=<SNOWFLAKE DATABASE>,
       staging_bucket_name=<GCS OR S3 BUCKET>,
       storage_integration_name=<SNOWFLAKE STORAGE INTEGRATION NAME>,
       table_schema=<SNOWFLAKE TABLE SCHEMA>,
       table=<SNOWFLAKE TABLE>,
       create_disposition='CREATE_NEVER',
       write_disposition= 'WRITE_TRUNCATE',
       
      )

0 个答案:

没有答案