系统架构 · 流量治理与负载控制

场景 1 · nginx 网关限流落地: 接口 100r/s, 突发吸收 200, 超额直接 429

大促前给核心 API 上限流。按客户端 IP 维度限(作为兜底), burst 吸收正常抖动, nodelay 让额度立即放行而不是排队加延迟。

# http 块: 定义限流区, 10m 共享内存 ≈ 16 万个 IP 状态
limit_req_zone $binary_remote_addr zone=api:10m rate=100r/s;
limit_req_status  429;
limit_conn_status 429;

# server 块: API 路径套上桶; burst=200 + nodelay = 突发立即放行不排队
location /api/ {
    limit_req zone=api burst=200 nodelay;
    limit_conn perip 50;            # 单 IP 并发连接再卡一道
    proxy_pass http://app;
}

压测验证: 400r/s 打 30s, 放行约 100/s+burst, 其余 429; 后端 p99 稳定在 80ms 以内。

场景 2 · 网关集群级令牌桶: Redis + Lua 原子扣减(正确用法模板)

8 台网关各自限流等于 8 倍配额。桶放 Redis, 判断+扣减放进同一段 Lua, 原子执行无竞态。

-- bucket.lua: KEYS[1]=桶名; ARGV: rate/s, burst, now_us, 请求量
local rate, burst = tonumber(ARGV[1]), tonumber(ARGV[2])
local now  = tonumber(ARGV[3])
local b    = redis.call('HMGET', KEYS[1], 'tokens', 'ts')
local tokens = tonumber(b[1]) or burst      -- 首次访问: 满桶
local ts     = tonumber(b[2]) or now
tokens = math.min(burst, tokens + (now - ts) * rate / 1e6)
local ok = tokens >= tonumber(ARGV[4])
if ok then tokens = tokens - tonumber(ARGV[4]) end
redis.call('HMSET', KEYS[1], 'tokens', tokens, 'ts', now)
redis.call('EXPIRE', KEYS[1], 60)
return ok and 1 or 0

8 台网关共享一个桶后, 集群真实出口速率从"理论 1000/s 实测 8000/s"修正到 1000/s±2%。

场景 3 · WebSocket 长连接会话粘住: 一致性哈希 upstream

长连接建立后就不再过 LB, 轮询会让 2 万条 ws 连接随机分布; 按用户哈希粘住, 扩容时只有 1/N 会话重连。

upstream ws_pool {
    hash $arg_uid consistent;      # 一致性哈希: 同 uid 粘同节点
    server 10.0.0.1:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.2:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.3:8080;
    keepalive 64;
}
# 扩容加一台: 一致性哈希只迁移 ~1/(N+1) 会话, mod-N 要近乎全量重连

场景 4 · Kafka 消费者背压: 缓冲区满就 pause, OOM 消失

历史大促曾把 50 万条消息一次 poll 进内存直接 OOM。改为有界缓冲 + 暂停拉取, 心跳不丢、再平衡不触发。

if buffer.size() >= MAX_BUFFER {          // 例如 5000 条
    consumer.pause(consumer.assignment()); // 暂停拉取, 心跳照常
}
consumer.poll(Duration.ofMillis(100));
if buffer.size() < MAX_BUFFER / 2 {
    consumer.resume(consumer.assignment()); // 消化过半再恢复, 防抖动
}
// 配套: max.poll.records=200, 别让一次 poll 就塞满缓冲区

场景 5 · 准入控制: 有界队列 + 水位拒绝, 洪峰只损失尾部

队列只借时间不还命: 排队 10 秒的请求上游早就超时了。队列深度设为"2 倍并发能力", 越水位立刻拒绝并带 Retry-After。

private static final Semaphore CONN = new Semaphore(200);
private static final BlockingQueue<Req> QUEUE =
    new ArrayBlockingQueue<>(400);   // 有界! 2× 并发能力

public Response handle(Req req) {
    if (!QUEUE.offer(req)) {          // 满了立即拒绝, 不排队
        throw new OverloadException("503", "Retry-After: 2");
    }
    return worker.process(req);
}

场景 6 · 大促预案: HPA 弹性扩容与限流阈值联动(配置/部署型)

扩容改变容量, 限流阈值必须跟着改, 否则扩容白扩——机器多了配额没变, 流量还是被旧阈值拦死在门外。

# hpa.yaml: CPU 65% 触发扩容, 缩容冷却 5 分钟防抖
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
spec:
  minReplicas: 4
  maxReplicas: 16
  metrics:
  - type: Resource
    resource:
      name: cpu
      target: { type: Utilization, averageUtilization: 65 }
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300
# 预案: 副本 ×2 时, 网关限流 rate 同步 ×2 (脚本联动, 阈值写在配置中心)

场景 7 · 付费用户加权: 弃车先弃免费弹窗, 保下单支付

全站过载时无差别 503 等于把付费用户和爬虫一起扔掉。请求进门先打优先级标签, 弃车从最低档开始。

// 网关打标 → 后端按档位限流, 而不是全局无差别拒绝
enum Tier { CRITICAL(1), PAID(2), FREE(3) }   // 交易 > 付费功能 > 免费浏览

public boolean admit(Request r, double load) {
    if (load < 0.85) return true;           // 绿色: 全放行
    if (load < 0.95) return r.tier != Tier.FREE;  // 黄色: 弃免费
    return r.tier == Tier.CRITICAL;          // 红色: 只保交易
}

上线后大促过载期间, 下单成功率保持在 99.9%, 免费页承担全部 429。

场景 8 · 突发流量整形: 等不到令牌就走兜底, 而不是无限排队

发券瞬时 50 倍流量。用 rate.Limiter.WaitN 把"排队等待"变成有上界的等待, 等不到就走降级模板。

limiter := rate.NewLimiter(rate.Limit(50), 100)

func handler(w http.ResponseWriter, r *http.Request) {
    ctx, cancel := context.WithTimeout(r.Context(), 200*time.Millisecond)
    defer cancel()
    if err := limiter.WaitN(ctx, 1); err != nil {
        renderCouponPage(w, degradatedTpl)   // 200ms 等不到令牌 → 静态兜底页
        return
    }
    renderCouponPage(w, realTpl)
}

场景 9 · 深夜告警 ERROR 1040: 连接数打满的十分钟止血(事故排查型)

告警: 订单服务大量超时。登录 DB 一查连接数打满——根因是新版本 SDK 没接连接池, 每请求新建连接, 洪峰一来直接顶到 max_connections。

mysql> SHOW VARIABLES LIKE 'max_connections';
-- → 500   (曾被临时调大过, 别再无脑调, 调大只是推迟爆炸)
mysql> SHOW STATUS LIKE 'Threads_connected';
-- → 500    (已打满)
mysql> SHOW PROCESSLIST;
-- → 大量 Sleep 连接, 全来自未池化的 v1 SDK
-- 止血: 杀掉空闲连接 + 回滚该 SDK; 治本: 应用连接池(上限 20/实例) + 网关 limit_req

场景 10 · LB 健康检查剔除慢节点: Envoy outlier + nginx 被动探活(配置型)

一台节点磁盘慢导致 p99 5s, 轮询照样把 1/3 请求打过去。被动健康检查 + 熔断剔除, 让慢节点自动退出轮询。

# Envoy: 连续 5 次 5xx 剔除 30s, 最多剔一半实例
outlier_detection:
  consecutive_5xx: 5
  interval: 10s
  base_ejection_time: 30s
  max_ejection_percent: 50
# nginx 被动式: max_fails=3 fail_timeout=30s (见场景 1/3)
# 注意: 被动探活靠失败计数, 对"慢而不挂"的节点要配 p99 告警兜底