在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。虽然Flink可以做到每来一个消息就处理一次，但是更多时候我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户访问了我们的网页，所以Flink引入了窗口（Window）概念。窗口将一个无限数据流拆分成有限的数据集合（在Flink中简称为“桶”），并使得我们很方便地在上...

XPath使用路径表达式来选取XML文档中的节点或节点集。1、常用的路径表达式下面列出了最有用的路径表达式： 路径 描述 nodename 选取此节点，以及其包括的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 ...

Flink和Spark对比Flink是标准的实时处理引擎，基于事件驱动。而Spark Streaming是微批（Micro-Batch）的模型。Flink的时间延迟是毫秒级别，而Spark则是秒级别的。虽然在Spark2.3版中引入了一个持续流处理模型，将流处理延迟降至毫秒级。但是现在只支持很有限的功能，并不能在大的项目中使用。Flink天生就是为流计...

UC Berkeley 全称是：University of California, Berkeley，加利福尼亚大学伯克利分校，简称伯克利。AMPLab是旗下的大数据实验室，AMP的缩写代表着"Algorithms, Machines, and People"。1、AMPLab 诞生背景在大数据的背景下，我们对这个世界的理解越发的变成了理解数据，并将数...

flink 水印作用：告知窗口，数据集合完毕，可以启动计算。由于消息可能是乱序的，所以flink操作符无法直接确认何时所有属于该时间窗口的消息全部流入此操作符，从而无法执行计算过程。这个问题可以通过WaterMark机制来解决。Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，...

flink水印触发窗口的机制水印（watermark）就是一个时间戳 ，Flink可以给数据流添加水印，可以理解为：收到一条消息后，额外给这个消息添加了一个时间字段，这就是添加水印。水印并不会影响原有Event Time。一般会设置水印时间比Event Time小几秒钟。当接收到的消息一直到水印时间 >= 窗口的 endTime ，则触发计算。

Flink水印基于事件时间。所谓事件时间，就是Flink DataStream中的数据元素自身带有的、在其实际发生时记录的时间戳，具有业务含义，并与系统时间独立。很显然，由于外部系统产生的数据往往不能及时，不能按序到达Flink系统，所以事件时间比处理时间有更强的不可预测性。为了能够准确地表达事件时间的处理进度，就必须用到水印。Flink水印的本质是D...

flink水印就是一个时间戳flink水印就是一个时间戳，它给每个消息添加一个允许一定延迟的时间戳。窗口可以继续计算一定时间范围内延迟的消息，添加水印后，窗口会等 n 秒，再执行计算。若超过 n 秒，则舍弃。窗口执行计算时间由 水印时间 来触发，当接收到消息的 watermark >= endtime ，触发计算。Flink提供添加水印的API如...

在Flink中，watermark称为水位线或水印，是flink为流式数据每隔一段时间打上的一个标记。watermark 通过额外的时间戳来控制窗口激活的时间，主要是为了解决数据乱序到达的问题。flink可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。聚合类处理带来了新的问题，比如乱序/...

Flink引入了事件时间（eventTime）这个重要概念，从而提升数据统计的准确性。但是，引入事件时间后在具体业务实现时存在一些问题必需要合理去解决，否则会造成非常严重的问题。事件时间存在什么样的问题呢？下面先看一个简单的业务场景。比如：要统计APP上搜索按钮每1分钟的点击次数，通常我们是这样设计如下水印处理器：public static class...

Flink根据时间产生的位置不同，将时间区分为三种时间概念：事件时间、接入时间、处理时间。Event Time 事件时间Event Time指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间。由于事件从发生到进入Flink时间算子之间有很多环节，一个较早发生的事件因为延迟可能较晚到达，因此使用Event Time意味着事件到达有可能...

备注：本文来源于互联网，做了部分修订。在流处理中，时间是一个非常核心的概念，是整个系统的基石。我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口内的数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个作业使用什么样的时间语义。Flink的三种时间语义：Event Time、Processing Time和...

算子是一个函数空间到函数空间上的映射O：X→X。广义的讲，对任何函数进行某一项操作都可以认为是一个算子，包括求幂次，开方都可以认为是一个算子。本质上来说，算子就是映射，就是变换。备注：这里提到了“函数”，而关于函数的定义则更为曲折，大学高数上轻描淡写的定义难以揭示人类探索数学文明的艰辛。函数的定义通常分为传统定义和近代定义，函数的两个定义本质是相同的，...

1、path_provider插件的官方讲解https://pub.flutter-io.cn/packages/path_provider2、path_provider插件的安装首先，添加依赖，在pubspec.yaml文件下添加，如下所示：dependencies: path_provider: ^1.6.9然后，在终端运行flutter pa...

File pdf = File('/data/data/cn.mybatis/app/shell.pdf');var exist = await pdf.exists(); if(exist){......}

1、封面介绍2、出版时间2021年2月3、推荐理由本书一方面对Flink的技术架构做了深入的介绍，另一方面涵盖了Flink大多数API，本书每章都提供了一些实践案例和习题训练，帮助读者了解、上手和熟悉Flink技术。与其他中文Flink图书相比，本书从初学者角度出发，结合相关案例，深入浅出，有助于读者学懂学会Flink。本书围绕大数据流处理领域，介绍F...

1、封面介绍2、出版时间2020年9月3、推荐理由《Flink内核原理与实现》既讲解了Flink的入门、安装、流计算开发入门、类型和序列化系统、监控运维、安全管理配置等基础知识，又讲解了Flink的时间概念、Window的实现原理及其代码解析，Flink的容错机制原理，Flink容错的关键设计、代码实现分析，Flink Job从源码到执行整个过程的解析...

1、封面介绍2、出版时间2019年12月3、推荐理由带你走近Apache Flink，一个为全世界多个Z大规模级别的流处理应用提供支持的开源框架。通过本书，你将探索并行流处理的基本概念并了解该技术与传统批处理的区别。Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataSt...

1、封面介绍2、出版时间2019年4月3、推荐理由《深入理解Flink：实时大数据处理实践》介绍了实时数据处理引擎Flink，讲解了流处理API、批处理API、机器学习引擎FlinkML、关系型API、复杂事件处理，以及指标度量与部署模式，分析了流式数据处理理论中时间、窗口、水印、触发器、迟到生存期之间的关联和关系，深入分析了多项式曲线拟合、分类算法、...

1、封面介绍2、出版时间2019年12月3、推荐理由Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API实现可伸缩的流式应用，以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多，包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异...