FFA2023生产实践专场资料汇总 .docx

实时未

实时未来

FORWARD

Flink易用性和稳定性在Shopee的优化

范瑞|TechLeadofShopeeFlinkRuntime|ApacheFlinkCommitter潘月鹏|ShopeeSeniorEngineerIApacheFlinkActiveContributor

实时未Tan*RR#来

实时未Tan*RR#来

签A图

01Troubleshooting优化

——

02稳定性优化

03Task均衡性调度

04未来规划

FLINKFORWARD实时未来

FLINK

FORWARD

01Troubleshooting优化

实时未

实时未来

FORWARD

作业lag排查流程优化

Lag原因任意一个subtask慢都可能导致整个Job

Lag原因

找到慢的SubtaskLag排查

找到慢的Subtask

Lag排查三步法

2.找到慢的Subtask

分析

Subtask的瓶颈3.分析Subtask

Subtask

的瓶颈

实时未Tan*RR

实时未Tan*RR#来

·Busy最高的Task是瓶颈

FORWARD

签A图

作业lag排查流程优化

1.找到慢的Task

Sink:MySinkMapParallelism:5

Sink:MySink

Map

Parallelism:5

Parallelism:2

Parallelism:2

Backpressured(max):0%Busy(max):100%Backpressured

Backpressured(max):0%Busy(max):100%

Backpressured(max):0%Busy(max):0%

REBALANCE

REBALANCE

Busy(max):0%

Task颜色

状态

红色task

繁忙(Busy)

灰黑色task

被反压

蓝色task

空闲

Overview实时

Overview

实时未来

FLINK

FORWARD

作业lag排查流程优化

2.找到慢的Subtask

ExceptionsTimeLineCheckpointsConfiguration

②点击Backpressure页面

①点击BusyTask

DetailSubTasksTaskManagersWatermarksAccumulatorsBackPressureMetrics

SubTask

Measurement:8sago

Backpressured/ldle/Busy

BackPressureStatus:OK

BackpressureStatusThreadDump

30%10%/100%OKDump

Map

Parallelism:5

Backpressured(max):0%Busy(max):100%

00%/65%/35%OKDump

Sink:MySink

Para!

BackpressBusy

~

10%/65%/35%

3)第SubtaskBUS}

REBALANCE

反

20%/65%/35%OKDump

40%/66%/34%Dump

·默认按照Busy排降序(Flink-1.17:FLINK-29998,FLINK-30468)

实时

实时未来

aN*RR

FLINK

FORWARD

作业lag排查流程优化

3.分析Subtask的瓶颈在哪里②

SubTasksTaskManagersWaterarksAccumulatorsBackPressure