Flink, 大数据

flink-40 Module操作

Module允许flink扩展函数能力

目前flink包含了以下三种module:

  • CoreModule
    • flink内置module
    • 包含flink内置的所有UDF
  • HiveModule
    • 可以讲Hive内置函数作为flink的系统函数提供给SQL\Table API使用
  • 用户自定义Module
    • 用户自己实现Module接口实现自己的UDF扩展Module

如果加载module有重名函数则按照加载module的顺序进行解析,使用顺序为第一个module的UDF

USE MODULE hive,core;

加载hive module步骤

(1)上传jar包到flink的lib中

  • 拷贝hadoop包解决冲突问题
cp hadoop/share/mapreduce/hadoop-mapreduce-client-core-x.x.x.jar flink/lib

(2)重启flink集群和sql-client

(3)加载hive module

load module hive with('hive-version'='3.1.2')