如何将Avro事件推送到Memsql

Question

我正在POC上实施实时分析，其中包含以下组件。

1. Confluent Kafka ：从Avro格式的第三方服务获取事件（事件包含最多40个字段）。我们还使用Kafka注册中心来处理不同类型的事件格式。

我正在尝试使用MemSQL进行分析，因此必须将事件以特定格式推送到memsql表中。

我浏览过memsql网站，博客等，但是大多数建议使用Spark memsql连接器，在其中可以转换从融合的Kafka获得的数据。

我有几个问题。

1. 如果我使用简单的Java / Go应用程序代替Spark。
2. Confluent Kafka和memsql是否提供任何实用程序

谢谢。

Answer 1

我建议使用MemSQL管道。 https://docs.memsql.com/memsql-pipelines/v6.0/kafka-pipeline-quickstart/ 在当前版本的MemSQL中，您需要设置一个转换，它将是一个小的golang或python脚本，可读取avro并输出TSV。有关如何执行此操作的说明，请参见https://docs.memsql.com/memsql-pipelines/v6.0/transforms/，但tldr是，您需要一个可以执行此操作的脚本

while True: record_size = read_an_8_byte_int_from_stdin() avro_record = stdin.read(record_size) stdout.write(AvroToTSV(avro_record))

请继续关注MemSQL对本机Avro的支持。