Flink, 大数据

flink-05 历史服务器

History Server对外提供REST API,接受HTTP请求并使用JSON数据进行响应,Flink任务停止后,jobmanager会将已经完成任务的统计信息进行存档,History Server进程则在任务停止后可以对任务统计信息进行查询,比如:最后一次的checkpoint,任务运行时的相关配置。

创建存储目录

hadoop fs -mkdir -p /logs/flink-job

在flink-config.yaml中添加如下配置

jobmanager.archive.fs.dir: hdfs://hadoop600:8020/logs/flink-job
historyserver.web.address: hadoop600
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://hadoop600:8020/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000

启动历史服务器

bin/historyserver.sh start

停止历史服务器

bin/historyserver.sh stop

web ui地址