Question

我有一个问题，关于在IDE中或以胖子形式运行Flink流作业而不将其部署到Flink服务器。

问题是当我的工作中有多个任务槽时，无法在IDE中运行它。

public class StreamingJob {

public static void main(String[] args) throws Exception {
    // set up the streaming execution environment
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    Properties kafkaProperties = new Properties();
    kafkaProperties.setProperty("bootstrap.servers", "localhost:9092");
    kafkaProperties.setProperty("group.id", "test");
    env.setParallelism(1);

    DataStream<String> kafkaSource = env
        .addSource(new FlinkKafkaConsumer010<>("flink-source", new SimpleStringSchema(), kafkaProperties))
        .name("Kafka-Source")
        .slotSharingGroup("Kafka-Source");

    kafkaSource.print().slotSharingGroup("Print");

    env.execute("Flink Streaming Java API Skeleton");
}

}

我知道该作业需要2个插槽，并且Flink集群中可以有两个任务管理器，但是如何在IDE中本地运行它。

当前，我必须为本地所有操作员指定相同的slotSharingGroup名称，以拥有一个插槽。但这并不灵活。

您如何处理？

Answer 1

这是您正在描述的已知错误。您可以找到相应的JIRA问题here。

解决此问题的方法是手动设置启动TaskExecutor的任务槽的数量。您可以通过TaskManagerOptions.NUM_TASK_SLOTS配置选项来完成此操作：

final int parallelism = ...;
final Configuration configuration = new Configuration();
configuration.setInteger(TaskManagerOptions.NUM_TASK_SLOTS, 2);

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(parallelism, configuration);

如何增加Flink taskmanager.numberOfTaskSlots以在没有Flink服务器的情况下运行它（在IDE或胖子罐中）

1 个答案: