🟡 LLM 健康：大模型供应商门诊（核心盘 4 图）

场景 1 · 错误率告警：>10% 就是供应商出事

阈值只来自核心盘口径卡（<5% 绿 / 5–10% 黄 / >10% 红），持续 10 分钟才报，避开偶发抖动。

# 告警规则：LLM 错误率（阈值来自核心盘 c13 口径卡）
groups:
- name: siliang-llm
  rules:
  - alert: LLMErrorRateHigh
    expr: |
      rate(siliang_llm_calls_total{outcome="error"}[5m])
        / clamp_min(rate(siliang_llm_calls_total[5m]), 1) > 0.10
    for: 10m
    labels:
      severity: critical   # >10% 红：多半 provider 限流(429)/key 失效
    annotations:
      summary: "provider {{ $labels.provider }} 错误率超 10% —— 切流量/换 key，不是修 bug"

判读收尾：告警恢复后回头看 c12，确认流量是否已切到健康供应商。

场景 2 · 供应商失约处置 SOP：先止血

供应商是别人家的服务，处置顺序是"确认→评估→切→验证"，全程不动自己的代码。

# 1) 确认是谁失约：错误率按 provider 拆（c13 口径）
rate(siliang_llm_calls_total{outcome="error"}[5m]) by (provider)
  / clamp_min(rate(siliang_llm_calls_total[5m]) by (provider), 1)
# 2) 评估影响面：该家占多少流量（c12 口径）
sum(rate(siliang_llm_calls_total[5m])) by (provider)
# 3) 切流量/换 key（配置层操作，非代码修复）
# 4) 验证：被切家的错误率归零，承接家 QPS 抬升且错误率保持绿区

场景 3 · "用户说慢"：P50 抬升的两分法

先分清"普遍变慢"还是"长尾个案"——处置路径完全不同。

# 典型体验（P50，按 model 拆，c15 口径）
histogram_quantile(0.50, sum(rate(siliang_llm_call_duration_seconds_bucket[5m])) by (le, model))
# 最惨的 1%（P99）
histogram_quantile(0.99, sum(rate(siliang_llm_call_duration_seconds_bucket[5m])) by (le, model))
# 互证口径：
#   P50 抬升 + c13 错误率走高 = provider 变慢/限流 → 切流量
#   P99 尖而 P50 平 = 长尾个案 → 查单笔慢调用（大参数/长输出属正常）
#   gpt-5 长输出 60s+ 属正常，别当故障（口径卡原文）

场景 4 · 被刷侦查：钱线突增先找上游

LLM 每一通电话都是钱。QPS 突增时先找到"谁在发起"，再决定限谁。

# 1) 谁家在暴涨（c12 口径）
sum(rate(siliang_llm_calls_total[5m])) by (provider)
# 2) 上游是哪个接口在大量发起（c16 口径）
sum(rate(siliang_http_requests_total[5m])) by (handler)
# 3) 对照时段：有无发布/活动（无发布无活动却突增 = 被刷/爬虫）
# 判读：handler 明确 → 限该 handler；全站齐涨 → 查入口与账号体系

场景 5 · 并发持续高位：铁三角定处置

占线电话下不来时，用并发 ≈ QPS × 延迟判断该扩额度、换模型还是上队列。

# 在途通话（c14 口径）
sum(siliang_llm_active_calls{job="siliang_backend_worker"}) by (provider)
# 拆解：并发高 + QPS 高 = 量大 → 扩并发额度 / 上队列削峰
#       并发高 + 延迟高 = 太慢 → 换更快的模型（c15 看 P50 抬升）
# 铁三角：并发 ≈ QPS × 延迟 —— 模型快一倍，同样流量并发少一半

场景 6 · 新供应商上线 / 换 key 后的四线观察

切换流量不是发完就完：接下来一小时用四张图做"术后监护"。

# 1) 流量到位了吗（c12）：新 provider 的线应抬起来
sum(rate(siliang_llm_calls_total[5m])) by (provider)
# 2) 没有跟着失约吧（c13）：绿区 <5%，冲高立刻回滚
rate(siliang_llm_calls_total{outcome="error"}[5m]) by (provider)
  / clamp_min(rate(siliang_llm_calls_total[5m]) by (provider), 1)
# 3) 占线正常吗（c14）：与旧供应商同期水位对照
sum(siliang_llm_active_calls{job="siliang_backend_worker"}) by (provider)
# 4) 体感没变差吧（c15）：P50 与旧家同量级；gpt-5 长输出 60s+ 属正常
histogram_quantile(0.50, sum(rate(siliang_llm_call_duration_seconds_bucket[5m])) by (le, model))
# 判读：四线齐平 = 切换成功；错误率冒头 = 回滚，别恋战