从IDE运行时Flink webui

时间:2017-10-28 10:05:07

标签: apache-flink flink-streaming

我正试图在网络上看到我的工作。

我使用createLocalEnvironmentWithWebUI,代码在IDE中运行良好,但无法在http://localhost:8081/#/overview中看到我的工作

  val conf: Configuration = new Configuration()
  import org.apache.flink.configuration.ConfigConstants
  conf.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true)
  val env =  StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf)
  env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)


  val rides = env.addSource(
    new TaxiRideSource("nycTaxiRides.gz", 1,100))//60, 600))

  val filteredRides = rides
    .filter(r => GeoUtils.isInNYC(r.startLon, r.startLat) && GeoUtils.isInNYC(r.endLon, r.endLat))
    .map(r => (r.passengerCnt, 1))
    .keyBy(_._1)
    .window(TumblingTimeWindows.of(Time.seconds(5)))
    .sum(1)
    .map(r => (r._1.toString+"test", r._2))

  filteredRides.print()
  env.execute("Taxi Ride Cleansing")

我是否需要设置其他内容?

3 个答案:

答案 0 :(得分:9)

我能够通过将flink-runtime-web添加到我的项目的依赖项来从IntelliJ启动Flink webui。我通过将其添加到我的pom.xml文件中来完成此操作:

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-runtime-web_2.11</artifactId>
    <version>${flink.version}</version>
</dependency>

答案 1 :(得分:4)

从Flink 1.5.0版开始,添加前面提到的依赖项并使用以下代码启动StreamEnvironment对我有用:

Configuration config = new Configuration();
config.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true);
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config);

在处理过程中,网页用户界面位于http://localhost:8081

答案 2 :(得分:-1)

是的,如果您想使用WebUI Dashboard,那么您需要创建一个可执行jar,然后将此jar提交到Flink仪表板。我会一步一步向你解释

第1步:从IDE代码

创建jar
  • 您可能需要将执行环境更改为
  

StreamExecutionEnvironment envrionment =   StreamExecutionEnvironment.getExecutionEnvironment();

  • 如果你有多个罐子,那么设置主类 主要类: Manifest.mf 文件的变量

  • 然后在IDE中使用构建工件创建一个jar

第2步:启动flink-local群集,向您显示信息中心。

  • 我会假设你没有下载Flink二进制文件,你可以 轻松下载here,如果你有Macintosh,我会建议你 使用brew install apache-flink将下载最新的稳定版 发布当前是1.3.2

  • 好的,现在你必须去安装flink的路径start local cluster

步骤3:提交作业

  • 通过提交新工作选项提交jar,然后运行它

enter image description here