Yearly Archives: 2023
paimon-05 DML
插入数据
part_spec
可选,指定分区的键值对列表,多个逗号分隔,可以使用类型文字如:date'2022-01-01'
column_list
可选,指定以逗号分隔的字段列表
包括除静态分区外的所有字段
value_e...
paimon-01 概况
Apache paimon是一个流数据湖平台,具有高速数据摄取、变更日志跟踪和高效的实时分析能力
读写:paimon支持多种读写数据和执行 OLAP查询的方式
对于读取,它支持以下方式消费数据
从历史快照(批处理模式)
从最新的偏移量(流处...
flink-45 UDF
UDF主要有以下几类:
标量函数 Scala Functions
一进一出
表函数 Table Functions
一进多出
聚合函数 Aggregate Functions
多进一出 聚合
表聚合函数 Table Aggre...
flink-43 catalog
catalog提供了元数据信息,例如数据库、表、分区、视图以及其他外部系统中存储的函数和信息
catalog允许用户引用数据存储系统中现有的元数据,并自动将其映射到flink的相应元数据,比如flink使用hive metastore
目前flink包含以下...
flink-41 常用Connector读写
需要注意 服务器上 flink客户端依赖和idea中编码依赖有不同
只要修改依赖,修改配置 都需要重启yarn-session和sql-client
普通kafka表
创建kafka的映射表