Question

我已经阅读了有关Apache Flink 1.6的文档和参考，并希望找到一些诸如Spark HiveContext的api来从Hive读取数据，但只能找到HDFS api和JDBC api。是否有与Spark HiveContext相同的API来连接Hive？

Answer 1

您可以像这样使用HCatInputFormat：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.createInput(new HCatInputFormat<>(database, table));

您可能还需要添加依赖项：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hcatalog</artifactId>
    <version>${flink.version}</version>
    <scope>provided</scope>
</dependency>

Answer 2

从Flink 1.9.0开始，我们正式支持使用Flink读取和写入Hive。 https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/

您还在寻找此选项吗？随时亲自与我联系

Apache flink是否具有与Spark HiveContext相同的api？

2 个答案: