📚 四两监控费曼详解 · 课程目录

34 课吃透 89 张图：14 节概念课打地基 → 20 节组课按仪表盘进修（核心 7 · 内存 11 · biz 1 · 容器 1）→ 出事先查主图谱「排查速查表」。每课独立成页、无 JS、可离线读；口径全部以 siliang-monitoring-knowledge-map.html 为准。

🧭 怎么用这门课 先修 → 进修 → 速查

第一步 · 先修 14 节概念课。Counter/rate/分位数/连接池/working_set/OOM/GC……这 14 张卡是所有 89 张图的「通用语法」，每节 10 分钟，学完再看任何面板都不再有生词。

第二步 · 按仪表盘进修 20 节组课。组课 = 一组相关面板打包精讲：先画机制图、给类比故事，再把每张图逐个讲透（健康长啥样 / 危险长啥样 / 真实 PromQL / 生产实战 / 常见坑 / 费曼自测）。核心盘 7 组 → 内存盘 11 组 → biz 1 组 → 容器 1 组，顺序即目录顺序。

第三步 · 出事直接查速查表。监控的价值不在「看」，在出事时 3 分钟内定位——主图谱的排查速查表从症状出发给出面板链，本目录底部有直达入口。每日 2 分钟巡检路线也写在那张表里。

直达主图谱四大仪表盘与速查表： ① 后端核心 · 35 图 · ② 后端内存 · 36 图 · ③ 业务后端 biz · 11 图 · ④ 容器层 · 7 图 · 🚑 排查速查表

🎓 概念课 · 14 张（先修） 所有面板的通用语法 · cyan

01Counter 计数器 vs Gauge 温度计里程表只涨不跌、体温计可上可下；带 _total 的配 rate()，类型决定 PromQL 写法。 02rate()：从里程表算出速度区间测速：counter[5m] 每秒涨多少 = QPS；窗口越大越平滑；重启归零自动补齐。 03increase() 与 changes()：涨了多少 vs 变了几次锁冲突「近 1h 次数」用 increase；容器重启次数 = 启动时间戳变了几次手。 04P50/P95/P99：把所有请求拉出来排队P95 = 95% 的请求比它快；平均值被快请求稀释，60s 的 LLM 慢请求 P99 才诚实暴露。 05直方图水桶与 topk：分位数怎么算、毛线团怎么治延迟存成累积水桶（le 标签）插值算分位；le 忘 by 是第一大坑；topk(5,…) 只画前 N 名。 06max_over_time 与 deriv：抹抖动与算斜率[1m] 最大值抹抓取抖动；deriv(rss[1h]) 算「每小时涨多少字节」，抓真累积的量化器。 07QPS·并发·延迟铁三角并发 ≈ QPS × 延迟（店里人数 = 进店速度 × 每人待多久）；延迟翻倍 → 池打满 → 雪崩。 08连接池：图书馆借书checked_out=借走的书、capacity=藏书、overflow=临时加座；80% 黄 95% 红；四两实数全表。 09RSS / VMS / working_set：三种"内存"酒店订房：登记 100 间（VMS 虚高）、真住 3 间（RSS）、地板摊开的（working_set，OOM 判定口径）。 10OOM kill：内存超限直接枪毙working_set 顶限额 → SIGKILL，不打招呼不留遗言（日志空白）；三联现场；限额表与 rag 前科。 11Python GC 分代回收：三区垃圾站gen0 扫最勤、gen2 很少扫；gen2 待回收爬升 + 回收停滞 = 大对象驻留预警，比 RSS 涨得早。 12泄漏判定心法：锯齿 / 爬升 / 平台期锯齿=健康；线性爬升=真泄漏；冲高后平台期=allocator 不归还（Python 常态，重启才还）。 13job / instance / label：指标的身份证job=哪个服务、instance=哪个 worker（253-biz-0）、label=切维度；server job 双计已全部排除。 145xx vs 4xx：谁的错4xx=客人的错不用半夜爬起来；5xx=店里的错；错误率只盯 5xx，>1 req/s 就看日志。

🟣 核心盘组课 · 7 张 siliang-backend · 35 图打包精讲 · violet

15🟣 在线用户与协作规模（核心盘 6 图）「在线」的三种口径；user_id 去重（跨 worker 算两人=近似值）；人数 vs 连接数（一人多页签）。c1–c6。 16🔴 后台生成任务：内存泄漏核心哨兵（核心盘 5 图）任务只进不出=泄漏（后厨未出餐订单）；租约=心跳+遗嘱；实例崩了别人替它收尸。c7–c11。 17🟡 LLM 健康：大模型供应商门诊（核心盘 4 图）调用量/失约率/在途通话/等待时长；gpt-5 长输出 60s+ 属正常；>10% 错误率=切流量不是修 bug。c12–c15。 18🟢 HTTP 健康：门面四件套（核心盘 4 图）QPS 谁最忙、5xx 谁在出事、并发在不在排队（ops 排空盯发布）、P99 Top10 优化待办清单。c16–c19。 19🔵 WebSocket 画布协作：神经系统（核心盘 7 图）对讲机的生老病死；redis_pubsub 失明=跨机器协作断；幽灵 session 与僵尸连接。c20–c26。 20🟠 计费归因与灵感检索（核心盘 7 图）钱算得准（找不到主人的消费=收入完整性）+ 生成首屏快（Planner→检索→首个可见事件）；渔网类比。c27–c33。 21🔴 数据库锁冲突：抢座位吵架（核心盘 2 图）1205=等太久放弃、1213=互相等强滚一个；L-21 锁专项修复的复发哨兵（近 1h 恒 0）。c34–c35。

📊 内存盘组课 · 11 张 siliang-memory · 36 图打包精讲 · rose

22📊 内存全局水位：先量体温（内存盘 3 图）口径卡（instance 规则/双计排除/5 条告警）→ RSS 形态三分法 → GC gen2 预警器（早于 RSS）。m100–m102。 23🧵 进程资源四件套：协程/线程/FD/子进程（内存盘 4 图）待办便签忘 cancel 越贴越多；FD 耗尽报 Too many open files；GC 出车停滞与待回收爬升互证。m103–m105/m126。 24📦 大对象在途：谁攥着大文件（内存盘 2 图）稳态应归零：ZIP/快照/图像每个都攥着大块内存；几 MB PNG 解码后几十 MB；对时间戳找嫌疑人。m106–m107。 25🚨 泄漏哨兵：防回退警报器（内存盘 3 图）历史修复的哨兵，非零即违规：沙箱台账随用随清 / MiniMax H3 窗口 1024·4096 / 导演组 N6-4。m108/m124/m125。 26📏 字节分布：大对象的典型体重（内存盘 3 图）P95 体重解释 RSS 为什么冲高（处理 200MB 视频先涨 200MB+）；b64_json 比 URL 大 33%+。m109/m110/m123。 27🏁 结束原因：活干完了没、怎么死的（内存盘 3 图）outcome Counter→rate by (outcome)；失败重试会反复占内存，与 RSS、在途三角互证。m111/m112/m122。 28🔌 连接池台账：backend 视角（内存盘 6 图）两张卡用法；sync 30/async 80/checkpointer 30；Redis shared+broadcaster 双证；client 存活防回退。m113/m115–m119。 29🕸 WS 会话内存：登记簿与背包（内存盘 2 图）登记簿 vs 活连接应重合，分叉=注册表有尸体；会话背包 KB 级，总量 >50MB 告警。m120–m121。 30🛡 防护与缓存：护栏拦了什么（内存盘 2 图）四道安检门（上传预检/媒体下载/XAI 生图/provider 超限）；缓存命中率崩=缓存逻辑被改。m114/m127。 31👷 RAG / Review Worker 体检单（内存盘 3 图）rag 处理大文件冲高属预期、关键看回不回落（有 OOM 前科）；review 独立小池 5+5 易被借空。m128–m130。 32🎬 视频后台流水线：结算工厂（内存盘 5 图）结算+收尾两条流水线；队列深度=门口排队+丢件率；工位并发上限对照定调参方向；收割器 90s 主动推进。m131–m135。

🟢🟡 biz 与容器层组课 · 2 张 siliang-biz 11 图 + siliang-containers 7 图 · amber

33🟢 biz 业务后端：核心盘精简镜像（biz 盘 11 图）同一套体检项目换 biz 再量一遍：映射表 b↔c/m；Redis 与 Agent 服务共享；池面板按机器成对。b0–b10。 34🟡 容器层：盒子视角（容器盘 7 图）不看代码只看 5 个盒子；working_set=OOM 判定口径；存活预期 2；cAdvisor 未部署整盘无数据。k0–k6。

🗺 主图谱快捷入口 全部事实的唯一来源

组课讲「为什么」，主图谱管「查得快」：89 张面板卡（人话/健康/危险/PromQL）+ 全景架构图 + 排查速查表都在那里。四个 section 与速查表直达：

① 后端核心 siliang-backend · 35 图在线用户 / 后台任务 / LLM / HTTP / WS / 计费灵感 / 数据库锁（c1–c35）。 ② 后端内存 siliang-memory · 36 图RSS / GC / 在途 / 泄漏哨兵 / 连接池 / 视频队列（m100–m135）。 ③ 业务后端 siliang-biz · 11 图biz 服务的 HTTP 四件套 / 连接池两对卡 / RSS / GC（b0–b10）。 ④ 容器层 siliang-containers · 7 图容器内存 vs 限额 / CPU / 网络 / 重启 / OOM / 存活（k0–k6；cAdvisor 未部署暂无数据）。 🚑 故障排查速查表从症状出发的面板链：接口 500 / 变慢 / 内存涨 / 容器被杀 / 发布确认 / 每日 2 分钟巡检。 🎓 必知必会 14 概念卡与上面 14 节概念课一一对应，先看卡再点开详解课。

四两监控费曼详解 · index · ZhongQiu Project / grafana
口径以各仪表盘「先读我」卡与 siliang-monitoring-knowledge-map.html 为准 · 费曼技巧：能讲给别人听，才算真的懂