Question

我使用以下简单代码来说明文件系统连接器的行为。我有两个观察结果要询问并确认。

如果我没有启用检查点，那么所有生成的 part-XXX 文件的文件名中总是包含 inprogress，这是否意味着这些文件没有提交？另外，这是否意味着如果我想使用文件系统连接器接收器，那么我总是需要 enable checkpointing 以便可以提交生成的文件并且下游（如 hive 或 flink）可以发现和读取这些文件？
分区中的inprogress文件什么时候移动到正常状态？是不是在新分区创建的时候，checkpoint开始运行的时候，然后让前一个分区的文件从inprogress成为正式的？如果是这样，那么分区可能有一个延迟（检查点间隔）可见。
我在代码中设置了滚动间隔为20秒，但是当我查看生成的part-XXX文件时，后续文件的创建时间相差25秒。我以为应该是20秒

例如

part-90e63e04-466f-45ce-94d4-9781065a8a8a-0-10 2021-0‎1-0‎3 ‏‎12:39:04  
part-90e63e04-466f-45ce-94d4-9781065a8a8a-0-11 2021-0‎1-0‎3 ‏‎12:39:29

代码是：

 val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
    env.enableCheckpointing(10*1000)
    env.setStateBackend(new FsStateBackend("file:///d:/flink-checkpoints"))
    val ds: DataStream[MyEvent] = env.addSource(new InfiniteEventSource(emitInterval = 5 * 1000))
    val tenv = StreamTableEnvironment.create(env)
    tenv.createTemporaryView("sourceTable", ds)

    ds.print()

    val ddl =
      s"""
      create table sinkTable(
      id string,
      p_day STRING,
      p_hour STRING,
      p_min STRING

      ) partitioned by(p_day, p_hour, p_min) with (
        'connector' = 'filesystem',
        'path' = 'D:/csv-${System.currentTimeMillis()}',
        'format' = 'csv',
        'sink.rolling-policy.check-interval' = '5 s',
        'sink.rolling-policy.rollover-interval' = '20 s',
        'sink.partition-commit.trigger'='process-time',
         'sink.partition-commit.policy.kind'='success-file',
        'sink.partition-commit.delay' = '0 s'
      )
      """.stripMargin(' ')

    tenv.executeSql(ddl)

    tenv.executeSql(
      """
     insert into sinkTable
      select id, date_format(occurrenceTime,'yyyy-MM-dd'), date_format(occurrenceTime, 'HH'), date_format(occurrenceTime, 'mm')  from sourceTable

     """.stripMargin(' '))

    env.execute()
  }

Answer 1

第 1 点包含在 StreamingFileSink docs 中：

<块引用>

重要提示：使用 StreamingFileSink 时需要启用检查点。零件文件只能在成功的检查点上完成。如果检查点被禁用，部分文件将永远处于 in-progress 或 pending 状态，并且下游系统无法安全读取。

对于第 2 点，零件文件生命周期记录为 here，这说明 in-progress 文件根据滚动策略转换为 pending，并且仅变为 finished当一个检查点完成时。因此，根据滚动策略和检查点间隔，某些文件可能pending 相当长一段时间。

对于第 3 点，rollover-interval 为 20 秒，check-interval 为 5 秒，翻转将在 20 到 25 秒之间发生。有关 check-interval 的说明，请参阅 Rolling Policy 文档：

<块引用>

检查基于时间的滚动策略的间隔。这控制检查零件文件是否应根据“sink.rolling-policy.rollover-interval”翻转的频率。

文件系统连接器接收器如何工作

1 个答案: