🟣 在线用户与协作规模（核心盘 6 图）

💡 一句话理解

把 backend 想成一个游乐场：c1 的大数字是"此刻操场上有多少个不同的学生"（按学生证 user_id 去重），c3 是"有多少间教室里还有人"（有活跃 WS 会话的画布房间）。它们都是 Gauge（温度计），直接读数，不累积。

为什么重要？它是整个仪表盘的"体温计之首"：产品火不火、发布后用户有没有掉光、故障波及多少人，第一眼看的就是它。但先记住两个口径陷阱：同一人跨 worker 会被算成两人（近似值）；全能/生图/视频的 SSE 不在这两个数里。

🧩 费曼拆解 讲给完全没接触过的小白

想象你是游乐场的园长，想知道"现在园里有多少人"。门口闸机不记名，只数"刷了几次卡"——张三上午进园一次，同伴帮他又刷了一次，闸机就把他数成两个人。backend 数在线用户也是这样：每个 worker 只看得见自己手里的 WebSocket 会话，它不知道"253-backend-0 上的那条会话"和"253-backend-2 上的那条"是不是同一个人。所以按 user_id 去重之后，跨 worker 的同一个人仍可能被算成两人——这就是口径卡里写的"近似值"三个字的来历。

再看"人数"和"电话线"的区别。聊天室里有两个数："几个人"（去重用户，一人开 5 个页签只算 1）和"几条电话线"（在途 SSE 连接数，每个页签一条）。WebSocket 是对讲机（画布协作，双向喊话），SSE 是收音机（聊天推流，单向播）。收音机开几台，不代表有几个人在听。健康状态下，连接数 ≈ 人数 × 人均页签数，比例稳定；如果连接数独自一路涨、人数不动，那就是"收音机开了没人关"——监听生成器泄漏，挂掉的 SSE 没人挂断。

最后是"在线"的三种口径（说明卡 c4 的内容）：① 画布 WS 在线；② 聊天 SSE 在线；③ 全能/生图/视频的 SSE——不在这两个数里，想看它们得去 HTTP 在途（c18）和 LLM 并发（c14）。数错口径，结论就会南辕北辙：把生成类用户算进"在线人数"，会让 c1 看起来"虚低"；反过来拿 c1 回答"有多少人在等生图"，又永远对不上。

🧠 必知必会 看懂本课全部面板的地基

Gauge（温度计）

在线人数可上可下，是 Gauge 不是 Counter——直接读数，永远不要对它求 rate()。

# 对：直接读此刻的数（Gauge 不配 rate）
sum(siliang_ws_online_users{job="siliang_backend_worker"})

去重 user_id

"人数"= 会话按 user_id 去重：一人开 5 个页签只算 1。但同一人跨 worker 会被算成两人，所以是近似值。

# 近似：跨 worker 的同一人可能被算成 2 人（口径卡原文）
sum(siliang_ws_online_users{job="siliang_backend_worker"})

三种"在线"口径

① 画布 WS 在线 ② 聊天 SSE 在线 ③ 全能/生图/视频 SSE 不在内——第三种要看 HTTP 在途（c18）与 LLM 并发（c14）。

# 生成类流量不在在线数里，要看在途：
sum(siliang_http_requests_in_progress) by (method)

人数 vs 连接数

人数=几个人；连接数=几条线（每页签一条）。健康时 连接数 ≈ 人数 × 人均页签数；c2 阈值 100/400。

# 聊天室：人数与连接数（面板口径照抄）
sum(siliang_chat_resume_active_listener_users)
  / sum(siliang_chat_resume_active_listeners)

job 过滤

只信 job=siliang_backend_worker：共享端口的 server job 随机命中 worker 会双计数，所有面板已排除。

# 不带过滤 = 可能混进双计的 server job
{job="siliang_backend_worker"}   # 唯一可信口径

sum(...) 跨 worker 求和

每个 worker 只报自己的数，sum 把 4 个 worker 加总才是大盘；想看单台用顶部 HOST 变量按机器前缀下钻。

# 大盘 = 4 个 worker 相加（c3 口径）
sum(siliang_ws_workspaces_active{job="siliang_backend_worker"})

outcome 结束原因

电话线怎么挂的也是数据：outcome 是 Counter，配 rate 后按 outcome 拆开，就是 c6 的四条线。

# Counter 配 rate，按 outcome 拆（c6 口径）
sum(rate(siliang_chat_resume_listener_outcome_total[5m])) by (outcome)

大数字 vs 曲线

c1/c2/c3 大数字给"现在"，c5 曲线给"往哪走"；只看大数字会错过"正在爬升"的堆积。

# 六条趋势线之一：pubsub 订阅任务
sum(siliang_ws_pubsub_tasks_active)   # 独自爬升 = 在堆积

📋 逐面板精讲 6 张图一张不落

# 面板 PromQL（照抄主图谱口径）
sum(siliang_ws_online_users{job="siliang_backend_worker"})

# 面板 PromQL（照抄主图谱口径：人数 / 连接数）
sum(siliang_chat_resume_active_listener_users)
  / sum(siliang_chat_resume_active_listeners)

# 面板 PromQL（照抄主图谱口径）
sum(siliang_ws_workspaces_active{job="siliang_backend_worker"})

# 口径卡的核心：所有面板统一排除 server job
sum(siliang_ws_online_users{job="siliang_backend_worker"})
# 生成类 SSE 不在在线数里：去 c18（HTTP 在途）/ c14（LLM 并发）看

# 六条曲线的取数（主图谱口径展开）
sum(siliang_ws_online_users)                    # 去重用户
sum(siliang_ws_workspaces_active)               # 在线画布
sum(siliang_ws_sessions_active)                 # WS 会话总数
sum(siliang_ws_pubsub_tasks_active)             # pubsub 订阅任务
sum(siliang_chat_resume_active_listener_users)  # 聊天用户
sum(siliang_chat_resume_active_listeners)       # 聊天 SSE 监听

# 面板 PromQL（照抄主图谱口径）
sum(rate(siliang_chat_resume_listener_outcome_total[5m])) by (outcome)

🏭 生产实战 real world

# 发布窗口前后对比在线人数（Gauge 直接读，不配 rate）
sum(siliang_ws_online_users{job="siliang_backend_worker"})
# 健康形态：发布瞬间小幅回落（旧连接断开重连），1–2 分钟回到原水位
# 危险形态：掉下去不回来 —— 接入层/WS 出问题，接着往下看

# c5 六条线逐条展开，找"谁先掉的"
sum(siliang_ws_online_users)                    # 去重用户
sum(siliang_ws_workspaces_active)               # 在线画布
sum(siliang_ws_sessions_active)                 # WS 会话总数
sum(siliang_chat_resume_active_listeners)       # 聊天 SSE 监听（电话线）
# 判读：全部同跌 = 接入层/网络；只有 WS 线掉 = WS 专属问题（转 c20–c22）

# 两个数分开看（c2 口径）
sum(siliang_chat_resume_active_listeners)       # 几条线（阈值 100/400）
sum(siliang_chat_resume_active_listener_users)  # 几个人（去重）

# 挂断原因分布，找"该挂没挂"的证据（c6 口径）
sum(rate(siliang_chat_resume_listener_outcome_total[5m])) by (outcome)
# error 频繁   = 读流出异常，上下行不稳
# lease_expired 高 = worker 租约失效被收敛退出（实例问题，转 grp-bg-tasks）
# 临门一脚：窗口拉到 6h，连接线只涨不跌 = 泄漏实锤

# 第 1 步：有没有混进 server job（双计元凶，口径卡 c4）
sum(siliang_ws_online_users)  # 错：不带过滤，混入双计
sum(siliang_ws_online_users{job="siliang_backend_worker"})  # 对：唯一可信口径

# 第 2 步：剩下的差值多半是跨 worker 同人双算（近似值，正常现象）
# 第 3 步：用会话总数交叉验证量级
sum(siliang_ws_sessions_active)   # 未去重口径，应 ≥ 去重人数
# 判读：差值 ≈ 跨 worker 双算量级 = 正常；差值巨大 = 查注册表泄漏（内存盘 m120）

# 每日巡检（主图谱 #triage「每日例行巡检（2 分钟版）」口径）
sum(siliang_ws_online_users{job="siliang_backend_worker"})  # c1：和昨天同时段比
sum(siliang_chat_resume_active_listeners)                     # c2：电话线在正常区间？
# 判读：与昨日同时段同量级 = 过关
#       骤降/归零 = 按「场景 1」的路径下钻，先接入层后 WS

# 周报配图：7d 窗口下的核心三条线（c5 口径子集）
sum(siliang_ws_online_users)                   # 去重用户 —— 热度
sum(siliang_ws_workspaces_active)              # 在线画布 —— 协作广度（阈值 100/300）
sum(siliang_chat_resume_active_listener_users) # 聊天用户 —— 粘性
# 判读：三条线同步上台阶 = 真增长
#       只有画布涨、用户不涨 = 空房间变多，协作在退潮

⚠️ 常见坑 pitfalls

# 错: rate(siliang_ws_online_users[5m])                    # Gauge 求 rate，无意义
# 对: sum(siliang_ws_online_users{job="siliang_backend_worker"})

# 错: 拿 c1 的大数字和业务后台逐人核对          # → 永远对不齐
# 对: sum(siliang_ws_sessions_active)              # → 会话口径交叉验证

# 错: 用 c2 回答"全站多少人在线"
# 对: sum(siliang_http_requests_in_progress) by (method)   # → 生成类看在途

# 错: 拿 listeners 当用户数汇报
# 对: users = sum(siliang_chat_resume_active_listener_users)  # → 去重人数

# 错: 只盯 c1 当前值
# 对: sum(siliang_ws_pubsub_tasks_active)   # → 六条趋势线一起看（c5）

# 错: sum(siliang_ws_online_users)                             # → 混入双计
# 对: sum(siliang_ws_online_users{job="siliang_backend_worker"})

# 错: 看到 disconnected 高就报警
# 对: 只盯 error（上下行不稳）与 lease_expired（实例异常退出）两条线

# 错: lease_expired 高 → 查 SSE 代码
# 对: sum(rate(siliang_chat_resume_stale_finalized_total[5m]))  # → 收尸计数互证

🎓 费曼自测 合上书，能讲出来才算懂

🔗 相关课程