Question

我正在使用此连接器

https://www.confluent.io/connector/sap-hana-connector/

这是我的配置

{
    "name": "sap",
    "config": {
        "connector.class": "com.sap.kafka.connect.source.hana.HANASourceConnector",
        "tasks.max": "10",
        "topics": "sap_OHEM,sap_OHST",
        "connection.url": "jdbc:sap://10.236.242.1:30015/",
        "connection.user": "user",
        "connection.password": "pass",
        "mode":"bulk",
        "poll.interval.ms":"86400000",
        "sap_OHEM.table.name":                          "\"public\".\"OHEM\"",
        "sap_OHEM.poll.interval.ms":                    "86400000",
        "sap_OHST.table.name":                          "\"public\".\"OHST\"",
        "sap_OHST.poll.interval.ms":                    "86400000",
    }
}

OHEM具有超过30万行，OHST具有约500行。我的问题是，连接器仅复制每行100行，然后一遍又一遍地将它们推送到主题，而无需花费增量步骤。它不会复制所有表，而只是复制100行，然后一次又一次地复制它。我尝试使用 batch.max.rows 作为限制，这解决了小表而不是大表的问题，因为它破坏了JVM内存

有人遇到同样的问题吗？

Kafka Sap连接器批量模式无法正常工作

0 个答案: