我有一个脚本来获取特定Kafka主题中的邮件计数，并且只能在Kafka托管服务器中执行。脚本的输出必须移至Hive / HDFS。那么我可以将其移至Kafka主题，然后使用HDFS Sink连接器将其移至HDFS吗？如果是，如何将脚本生成的数据移至Kafka主题？还请告诉我是否有更好的解决方案。
答案 0 :(得分：0)
如何将脚本生成的数据移至Kafka主题
您可以将命令的输出传递给Kafka主题
your_script.sh | kafka-console-producer --topic foo --broker-list xx:9092
或者您可以使用具有Kafka客户端的某种语言来重写脚本。例如Python
或者，您可以研究设置Apache Nifi，然后在其中运行脚本并将结果上传到HDFS / Hive。
如果您想要Kafka + Hive集成，Hortonworks刚刚宣布了Hive-Kafka