From 67d3355f444aaec2066bc6bbea4ed62bd07a1a1c Mon Sep 17 00:00:00 2001 From: kicer Date: Sun, 15 Nov 2026 15:11:00 +0800 Subject: [PATCH] =?UTF-8?q?perf(sse):=20=E5=90=88=E5=B9=B6=E9=AB=98?= =?UTF-8?q?=E9=A2=91=E6=B5=81=E5=BC=8F=E4=BA=8B=E4=BB=B6=EF=BC=8C=E5=87=8F?= =?UTF-8?q?=E5=B0=91=20TCP=20=E5=B0=8F=E5=8C=85?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write, 而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。 手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被 小包拖住),表现就是流式输出时整个界面卡顿。 改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲: 攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call / assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。 预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。 所有客户端受益(隧道、局域网直连、微信桥接)。 --- app/server/sse.js | 46 +++++++++++++++++++++++++++++++++++++++++++--- 1 file changed, 43 insertions(+), 3 deletions(-) diff --git a/app/server/sse.js b/app/server/sse.js index c4692dc..3fb7f9a 100644 --- a/app/server/sse.js +++ b/app/server/sse.js @@ -5,6 +5,31 @@ function createBus() { const clients = new Map(); // session_id -> Set const internal = new Set(); // fn(sessionId, event, data) + // 高频事件的合并缓冲:LLM 每吐一个 token 就是一条 assistant_delta,一次 res.write 就是一个 + // TCP 包(Node 默认 TCP_NODELAY)。手机热点 / 跨境链路上包数比字节数更伤——每包都要射频调度, + // 拥塞窗口也容易被小包拖住。摍 50ms 或 8 条合并成一次 write。 + // 其他事件立即发,但发前先 flush,保证前端看到的顺序和产生顺序一致。 + const MERGE_EVENTS = new Set(['assistant_delta', 'reasoning_delta', 'tool_call_args']); + const FLUSH_MS = 50; + const FLUSH_COUNT = 8; + const pending = new Map(); // session_id -> { parts: string[], timer } + + function writeAll(sessionId, payload) { + const set = clients.get(sessionId); + if (!set || set.size === 0) return; + for (const res of Array.from(set)) { + try { res.write(payload); } catch (_) { removeClient(sessionId, res); } + } + } + + function flush(sessionId) { + const p = pending.get(sessionId); + if (!p) return; + pending.delete(sessionId); + if (p.timer) { clearTimeout(p.timer); p.timer = null; } + if (p.parts.length) writeAll(sessionId, p.parts.join('')); + } + function onInternal(fn) { internal.add(fn); return () => internal.delete(fn); @@ -19,7 +44,10 @@ function createBus() { const set = clients.get(sessionId); if (!set) return; set.delete(res); - if (set.size === 0) clients.delete(sessionId); + if (set.size === 0) { + clients.delete(sessionId); + flush(sessionId); // 没人看了,把还摍着的清掉,避免 pending 常驻 + } } // event 名称 + 任意 JSON data。无客户端时静默丢弃(消息本身已持久化,重连可回放)。 @@ -32,13 +60,25 @@ function createBus() { } const set = clients.get(sessionId); if (!set || set.size === 0) return; + const payload = 'event: ' + event + '\ndata: ' + JSON.stringify(data) + '\n\n'; - for (const res of Array.from(set)) { - try { res.write(payload); } catch (_) { removeClient(sessionId, res); } + + if (MERGE_EVENTS.has(event)) { + let p = pending.get(sessionId); + if (!p) { p = { parts: [], timer: null }; pending.set(sessionId, p); } + p.parts.push(payload); + if (p.parts.length >= FLUSH_COUNT) { flush(sessionId); return; } + if (!p.timer) p.timer = setTimeout(() => flush(sessionId), FLUSH_MS); + return; } + + // 非合并事件:先把摍着的发掉,保证顺序不乱 + flush(sessionId); + writeAll(sessionId, payload); } function closeAll(sessionId) { + flush(sessionId); const set = clients.get(sessionId); if (!set) return; for (const res of Array.from(set)) {