Yearly Archives: 2023
flink-40 Module操作
Module允许flink扩展函数能力
目前flink包含了以下三种module：
CoreModule
flink内置module
包含flink内置的所有UDF
HiveModule
可以讲Hive内置函数作为flink的系统函数提...
flink-37 Flink sql 时间属性
所谓的时间属性，其实就是每个表schema的一部分，它可以在创建表的DDL里直接定义一个字段，也可以在DataStream转换成表时定义。
一旦定义了时间属性，它就可以作为一个普通的字段引用，并且可以在基于时间的操作中使用。
时间属性数据类型为TIMEST...
flink-36 流处理中的表
动态表（Dynamic Tables）
当流中有新数据到来，初始表中会插入一行，而基于这个表定义的SQL查询，就应该在之前的基础上更新结果。这样得到的表就会不断地动态变化，被称为动态表。数据会随时间变化。
持续查询（Continuous Query）
...
flink-34 状态一致性 端到端一致性
状态一致性
一致性其实就是结果的正确性，一般从数据丢失、数据重复来评估
流式计算在发生故障、需要恢复状态进行回滚时就需要更多的保障机制了。我们通过检查点的保存来保证状态恢复后结果的正确性。
一致性三种级别：
最多一次 At-Most-Once
...
flink-33 保存点
除了检查点，flink还提供了另一个非常独特的镜像保存功能：保存点（savepoint）
这也时一个存盘的备份，原理和算法与检查点完全相同，只是多了一些额外的元数据
保存点的用途
保存点与检查点最大的区别，就是触发的时机。
检查点时由Flink...
flink-31 容错机制
在flink中有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点
检查点
在流处理中可以用存档读档的思路，将之前某个时间点所有的状态保存下来，这份存档就是所谓的检查点（checkpoint）
遇到故障重启的时候，我们可以从检查点中读...