无效的雪花。topic2table.map

时间:2019-10-06 15:56:44

标签: apache-kafka-connect snowflake-data-warehouse

有人可以告诉我为什么我的Snowflake Sink连接器将我的 snowflake.topic2table.map 值报告为无效吗? KAFKA_TEST  数据库已在Snowflake中创建,我可以让接收器连接器为我创建表。当我从配置中删除 snowflake.topic2table.map 设置时,它工作正常,但是...我想控制要创建的表的名称。我正在使用Confluent 5.3.1和Snowflake Connector 0.50。

[SF_KAFKA_CONNECTOR] Invalid snowflake.topic2table.map config format: snowflake.topic2table.map (com.snowflake.kafka.connector.Utils:417)

我的接收器配置:

{                                                                                        
  "name" : "mySnowflakeSink",
  "config":{
    "connector.class" : "com.snowflake.kafka.connector.SnowflakeSinkConnector",
    "tasks.max" : "2",
    "topics" : "sink-sample-data",
    "snowflake.topic2table.map" : "sink-sample-data:sampledata",
    "buffer.count.records" : "5",
    "snowflake.url.name" : "xxxxxx.us-east-1.snowflakecomputing.com",
    "snowflake.user.name" : "JPARDI",
    "snowflake.private.key" : "yyyyyyy",
    "snowflake.private.key.passphrase" : "zzzzzzz",
    "snowflake.database.name" : "KAFKA_TEST",
    "snowflake.schema.name" : "PUBLIC",
    "key.converter" : "org.apache.kafka.connect.storage.StringConverter",
    "value.converter" : "com.snowflake.kafka.connector.records.SnowflakeJsonConverter"
  }                                                                                      
}

1 个答案:

答案 0 :(得分:2)

这似乎是this commit在5天前修复的Snowflake连接器中的一个已知问题,尚未发布。

问题在于,代码没有传递您指定的配置值,而是解析属性本身的名称:snowflake.topic2table.map