使用apache nifi将mysql数据导入hdfs

Question

我正在学习Apache nifi，目前正在使用apache nifi“将mysql数据导入hdfs”

请通过提供文档，端到端流程来指导我创建流程。 我已将我的网站封存起来，但它不可用。

Answer 1

要导入MySQL数据，您需要创建一个DBCPConnectionPool控制器服务，指向您的MySQL实例，驱动程序等。然后您可以使用以下任何处理器从您的数据库中获取数据（请参阅文档以了解每个数据库的使用情况） ）：

• ExecuteSQL
• QueryDatabaseTable
• GenerateTableFetch

从数据库中提取数据后，通常采用Avro格式。如果您想要其他格式，则需要使用某些转换处理器，例如ConvertAvroToJSON。当流文件的内容是您想要的方式时，您可以使用PutHDFS将文件放入HDFS。