Flink, 大数据
Posted by

flink-08 任务槽

任务槽 TaskSlots Flink中每个TaskManager都是一个JVM进程,它可以启动多个独立的现成并执行多个子任务subask 很显然TaskManager的计算资源是有限的,并行的任务越多,每个线程的资源就会越少。那么一个TaskManager...
Flink, 大数据
Posted by

flink-07 并行度

并行子任务和并行度 当要处理的数据量非常大时,我们可以把一个算子操作,复制多份到多个节点,数据来了之后就可以到其中任意一个执行。这样一来,一个算子任务就被拆分成了多个并行子任务(subtasks),再将他们分发到不同节点,就真正实现了并行计算。 在Flink...
Flink, 大数据
Posted by

flink-05 历史服务器

History Server对外提供REST API,接受HTTP请求并使用JSON数据进行响应,Flink任务停止后,jobmanager会将已经完成任务的统计信息进行存档,History Server进程则在任务停止后可以对任务统计信息进行查询,比如:最后一次的ch...