kicer
67d3355f44
perf(sse): 合并高频流式事件,减少 TCP 小包
LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write,
而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。
手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被
小包拖住),表现就是流式输出时整个界面卡顿。
改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲:
攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call /
assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。
预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。
所有客户端受益(隧道、局域网直连、微信桥接)。
2026-11-15 15:11:00 +08:00
..
2026-11-15 14:17:04 +08:00
2026-11-15 14:27:07 +08:00
2026-11-11 20:15:52 +08:00
2026-11-15 00:46:01 +08:00
2026-11-11 15:44:35 +08:00
2026-09-06 18:47:20 +08:00
2026-11-13 10:16:13 +08:00
2026-11-12 09:02:23 +08:00
2026-11-12 07:45:06 +08:00
2026-09-17 20:12:56 +08:00
2026-11-13 14:30:30 +08:00
2026-11-12 07:45:06 +08:00
2026-11-13 18:05:54 +08:00
2026-11-12 09:02:23 +08:00
2026-09-28 14:19:47 +08:00
2026-10-25 15:47:12 +08:00
2026-11-15 00:46:01 +08:00
2026-11-02 20:28:10 +08:00
2026-09-17 20:12:56 +08:00
2026-10-19 11:30:12 +08:00
2026-10-21 03:33:50 +08:00
2026-11-12 07:45:06 +08:00
2026-11-15 15:11:00 +08:00
2026-10-21 03:33:50 +08:00
2026-10-02 09:56:40 +08:00
2026-10-26 10:41:28 +08:00