Paimon
paimon-11 集成spark引擎
拷贝paimon的jar包到spark的jars目录
需要使用mvn上的 才可以https://mvnrepository.com/artifact/org.apache.paimon/paimon-spark-3.1
paimon-09 CDC集成
paimon支持多种通过模式演化将数据提取到paimon表中的方法,意味着添加的列会实时同步到paimon表中,并且不会因此重新启动同步作业。
目前支持以下同步方式:
mysql同步表:将mysql中的一张或多张表同步到一张paimon表中
mysq...
paimon-08 维表join
paimon支持lookup join语法 用于从paimon查询的数据来补充维度字段
要求一个表具有处理时间属性,而另一个表由查找源连接器支持
案例:paimon支持flink中具有主键的表和append-only的表查找联结
paimon-05 DML
插入数据
part_spec
可选,指定分区的键值对列表,多个逗号分隔,可以使用类型文字如:date'2022-01-01'
column_list
可选,指定以逗号分隔的字段列表
包括除静态分区外的所有字段
value_e...