History Server对外提供REST API,接受HTTP请求并使用JSON数据进行响应,Flink任务停止后,jobmanager会将已经完成任务的统计信息进行存档,History Server进程则在任务停止后可以对任务统计信息进行查询,比如:最后一次的checkpoint,任务运行时的相关配置。
创建存储目录
hadoop fs -mkdir -p /logs/flink-job
在flink-config.yaml中添加如下配置
jobmanager.archive.fs.dir: hdfs://hadoop600:8020/logs/flink-job
historyserver.web.address: hadoop600
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://hadoop600:8020/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000
启动历史服务器
bin/historyserver.sh start
停止历史服务器
bin/historyserver.sh stop
web ui地址