Flink WaterMark（水位线）分布式执行理解 - 好文

背景

WaterMark (水印)
本质上是一个时间戳。当Flink中的运算符接收到水印时，它明白（假设）它不会看到比该时间戳更早的消息。因此，在“EventTime”中，水印也可以被认为是一种告诉Flink它有多远的一种方式，WaterMark还可以用来实现时间延迟。

本文主要涉及水印在单线程和分布式情况下的理解，基础知识和应用请看：Flink watermark
<https://blog.csdn.net/u013560925/article/details/82285631> 和 Flink编程框架
<https://blog.csdn.net/u013560925/article/details/82287744>

正文

WaterMark相当于一个EndLine，
一旦WaterMark所携带的时间出现，就意味着windows_end_time时间和WaterMark时间相同的窗口开始计算执行了，WaterMark时间可以用现实时间，也可以用处理数据所携带的Event
time，使用现实时间，在并行和多线程中需要注意的问题较少，因为都是以现实时间为标准，但是如果使用处理数据所携带的Event
time作为WaterMark时间，需要注意两点：

1.因为数据到达并不是循序的，注意保存一个当前最大时间戳作为WaterMark时间

2. 并行同步问题

以下内容将分为两部分，单线程版本和分布式多线程版本情况下，介绍WaterMark在系统中的使用和理解。

并行度为1的情况下

这里直接引用李麦迪博主的一篇文章：Flink流计算编程--watermark（水位线）简介
<https://blog.csdn.net/lmalds/article/details/52704170>

但是要注意，虽然博主没有在示例代码将流程并行度设置为1，但是从Flink界面展示信息来看，博主运行流程的并行度为1，如下图所示。所以博主的实验中，认为WaterMark是一个全局值，实际在多并行度执行时，WaterMark会有多个值存在，且是不会自动同步的。

并行情况下

假设流程设置并行度为2，则结构应如下所示，两个source，同时调用WaterMark生成代码，不断根据处理元素的Event
Time生成WaterMark，流程中会有两种不同步的WaterMark标志流。

如果此时有如下两个元素进入处理流程，并在代码中将WaterMark的timestamp打印出来的话，会是1536137355000和1536137349000两个不一样的WaterMark同时存在系统中。如果windows使用session
windows, session gap 为3 seconds，理论上来说，Windows
function应该被触发，但是，Windows并不会按照并行度为1时的设想调用apply处理方法，因为Windows总是以小的WaterMark为标准，windows同时收到两个并行source传过来的两个WaterMark标志，以1536137349000为标准，只认为1536137349000
WaterMark是有效的，1536137355000是无效的，因为只有一个并行处理的水印到达了1536137355000，另外一个并行度的水印还没到1536137355000。
key1,1536137349000 key1,1536137355000

分析：如果流程中存在两个 WaterMark时间：1536137349000和1536137355000，窗口endtime时间为1536137349000，窗口会被触发吗？

答案是不一定会，在多并行度的情况下，Windows总是以小的WaterMark时间为标准，所以当前窗口认为时间为1536137349000，所以窗口函数，不会被触发。

那么何时会被触发呢？，当所有并行处理的1536137355000水印都到达之后，窗口函数才会被触发。

热门工具换一换