Question

在nodered中，我可以使用json stream订阅KSQL node ABC。现在我试图用kafka-s3-connector以json文件的形式将该流推送到S3存储桶，但我只能使用cli执行此操作，而不是使用Node-Red中安装的SQL and S3 node。其中缺少额外的节点，对此有何帮助？

Answer 1

我只能使用cli来做到这一点

我对NodeRED并不熟悉，但是您可以在S3 Connector可用的情况下将HTTP POST请求发送到Kafka Connect分布式服务器中

curl -XPOST http://connect-server:8083/connectors \
-d '{
  "name": "sink-s3",
  "config": {
    "topics": "your_topic",
    "tasks.max": "2",

    "name": "sink-s3",
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",

    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.json.JsonFormat",

    "s3.bucket.name": "example-kafka-bucket",

    "key.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",

     "__comment": "Confluent Kafka Connect properties",
    "flush.size": "200",
    "s3.part.size": "5242880",
    "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "BACKWARD"
  }
}'

KSQL流到S3桶，节点为红色

1 个答案: