Question

我们正在尝试进行POC，我们尝试将伏特数据库表中的数据导出到下面的kafka是我遵循的步骤： -

步骤1： - 准备了deployment.xml以启用导出到kafka

<?xml version="1.0"?>
<deployment>
<cluster hostcount="1" kfactor="0" schema="ddl" />
<httpd enabled="true">
    <jsonapi enabled="true" />
</httpd>
<export enabled="true" target="kafka">
<configuration>
<property name="metadata.broker.list">localhost:9092</property>
 <property name="batch.mode">false</property>
 </configuration>
 </export>
 </deployment>

步骤2： - 然后停止使用voltdb服务器

 ./voltdb create -d deployment-noschema.xml --zookeeper=2289

步骤3： - 创建仅导出表并在其中插入一些数据

create table test(x int);
export table test;

insert into test values(1);
insert into test values(2);

在此之后，我尝试验证是否在kafka中创建了任何主题，但没有。

./kafka-topics.sh --list  --zookeeper=localhost:2289

另外，我可以看到exportoverflow目录中所有数据的记录。谁能告诉我这里缺少的部分。

Answer 1

一些问题和可能的答案。

您使用的是企业版吗？
你可以从sqlcmd调用@Quiesce，看看你的数据是否推送到kafka。
您使用的是哪个版本？
VoltDB嵌入了一个动物园管理员，你使用的是独立的zookeeper还是VoltDB？我们不测试嵌入式的，因为它与kafka支持的不完全相同。

告诉我们或发送电子邮件至voltdb.com 期待。

Answer 2

Prabhat，

在您的具体情况下，您所观察到的行为的可能解释是您启动了Kafka而没有将auto create topics选项设置为true。导出过程要求Kafka启用此功能，以便能够即时创建主题。如果不是，则必须手动创建主题，然后从VoltDB导出。

作为旁注，虽然你可以使用以VoltDB开头的zookeeper启动你的Kafka，但这不是推荐的方法，因为当你关闭VoltDB服务器时，你的Kafka没有没有zookeeper。最好使用Kafka自己的zookeeper来管理你的Kafka实例。

如果这有帮助，请告诉我 - Thx。

将数据从伏特输出到卡夫卡

2 个答案: