从数据湖到分析系统检索数据

Question

我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。当前，分析系统正在直接连接到数据湖以读取这些ORC文件。

有什么方法可以在数据湖和分析系统之间创建中间层来服务数据吗？

Answer 1

您的分析软件是哪个？ 是否可以使用API​​或RESTful Web服务访问数据湖？ 请多澄清一点。

Answer 2

这个问题非常笼统，但是构建数据湖的一种常见且简便的方法是使用Presto（https://prestodb.io）。

Presto可以读取多种格式，但还可以连接到不同的数据源（例如mysql数据库和其他数据库），并将数据显示为表格。

客户也可以通过jdbc / odbc使用SQL，因此甚至可以从excel等工具或其他分析工具（微策略，表格等）访问数据湖。