Monthly Archives: 9 月 2023
flink-06 Standalone 会话模式为例
各组件间使用Actor通信系统进行沟通
一个job对应一个jobMaster
作业管理器（JobManager）
JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。也就是说，每个应用都应该被唯一的JobManag...
flink-05 历史服务器
History Server对外提供REST API，接受HTTP请求并使用JSON数据进行响应，Flink任务停止后，jobmanager会将已经完成任务的统计信息进行存档，History Server进程则在任务停止后可以对任务统计信息进行查询，比如：最后一次的ch...
flink-03 集群安装
集群部署
节点服务器hadoop101hadoop102hadoop103角色JobManagerTaskManagerTaskManagerTaskManager
具体安装步骤：
下载解压安装包
同上步骤
修改集群配置文件
指定...
hive-09 压缩和存储
Hadoop压缩配置
MR支持的压缩编码
压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否
为了支持...
hive-08 函数
系统内置函数
查看系统自带的函数
show functions
显示自带的函数的用法
desc function upper
详细显示自带的函数的用法
desc function extend upper
函数类型
UDF ...