是否可以在Flink的“作业管理器”中运行简单的作业？

Question

我编写了一个Flink作业，该作业从Kafka读取数据，并以ORC格式将其写入HIVE（使用20个执行程序）到hdfs文件中。我需要运行一个简单的工作，每小时将分区插入到HIVE表中。是否可以在作业管理器中运行此简单的分区添加作业？

Answer 1

工作经理仅扮演协调/监督的角色。您必须至少有一个任务管理器。

但是，要执行简单的工作，您可以使用完全在与客户端/应用程序相同的JVM中运行的“微型集群”。您想要的是由{p>创建的LocalStreamEnvironment

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();

或LocalEnvironment（如果使用的是DataSet（批次）API）：

ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();