kicer
|
67d3355f44
|
perf(sse): 合并高频流式事件,减少 TCP 小包
LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write,
而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。
手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被
小包拖住),表现就是流式输出时整个界面卡顿。
改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲:
攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call /
assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。
预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。
所有客户端受益(隧道、局域网直连、微信桥接)。
|
2026-11-15 15:11:00 +08:00 |
|