Monthly Archives: 9 月 2023
flink-09 作业提交模式
Standalone会话模式作业提交流程
逻辑流图 生成每个算子 关系
作业流图 合并算子链
作业流图转换执行流图
物理流图 就是 细化的执行流图
逻辑流图(StreamGraph)
这是根据用户通过Dat...
flink-08 任务槽
任务槽 TaskSlots
Flink中每个TaskManager都是一个JVM进程,它可以启动多个独立的现成并执行多个子任务subask
很显然TaskManager的计算资源是有限的,并行的任务越多,每个线程的资源就会越少。那么一个TaskManager...
flink-07 并行度
并行子任务和并行度
当要处理的数据量非常大时,我们可以把一个算子操作,复制多份到多个节点,数据来了之后就可以到其中任意一个执行。这样一来,一个算子任务就被拆分成了多个并行子任务(subtasks),再将他们分发到不同节点,就真正实现了并行计算。
在Flink...