如何在flink流中连续读取AzureDataLake中文件的内容?

时间:2017-06-20 05:54:48

标签: azure apache-flink flink-streaming azure-data-lake

我正在使用flink流来从AzureDataLake商店中的文件中读取数据。是否有任何连接器可用于在文件更新时连续读取Azure Data Lake中存储的文件中的数据。如何做?

1 个答案:

答案 0 :(得分:1)

Azure Data Lake Store(ADLS)支持与HDFS兼容的REST API接口,此处记录在案。 https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis

目前,在更新文件/文件夹时,没有可用于轮询ADLS和通知/读取数据的API或连接器。您可以使用上面提供的API在自定义连接器中实现此功能。您的连接器需要定期轮询ADLS帐户/文件夹以识别更改。

谢谢, 萨钦谢思 项目经理 Azure Data Lake