基于堆栈RDBMS / Kafka / Ni-Fi / Sqoop / Hadoop-Hive构建系统存在问题 目标是组织从RDBMS到Hive的数据迁移。我们想使用Ni-Fi作为从Kafka获取有关表的元信息的工具，然后将此元数据（通常只是表名）传递到sqoop脚本中以开始迁移过程。因此，问题在于获取有关RDBMS表（在我们的情况下为MySQL）的元信息，然后将其拉到Kafka主题上。
这是一个好的解决方案吗？我在网上搜索并找到了有关将数据从RDBMS传输到KAFKA的文章，但是没有有关仅从RDBMS获取元数据的信息。而且有必要使用Ni-Fi，我们无法将其从技术堆栈中删除。