diff --git a/app/server/sse.js b/app/server/sse.js index c4692dc..3fb7f9a 100644 --- a/app/server/sse.js +++ b/app/server/sse.js @@ -5,6 +5,31 @@ function createBus() { const clients = new Map(); // session_id -> Set const internal = new Set(); // fn(sessionId, event, data) + // 高频事件的合并缓冲:LLM 每吐一个 token 就是一条 assistant_delta,一次 res.write 就是一个 + // TCP 包(Node 默认 TCP_NODELAY)。手机热点 / 跨境链路上包数比字节数更伤——每包都要射频调度, + // 拥塞窗口也容易被小包拖住。摍 50ms 或 8 条合并成一次 write。 + // 其他事件立即发,但发前先 flush,保证前端看到的顺序和产生顺序一致。 + const MERGE_EVENTS = new Set(['assistant_delta', 'reasoning_delta', 'tool_call_args']); + const FLUSH_MS = 50; + const FLUSH_COUNT = 8; + const pending = new Map(); // session_id -> { parts: string[], timer } + + function writeAll(sessionId, payload) { + const set = clients.get(sessionId); + if (!set || set.size === 0) return; + for (const res of Array.from(set)) { + try { res.write(payload); } catch (_) { removeClient(sessionId, res); } + } + } + + function flush(sessionId) { + const p = pending.get(sessionId); + if (!p) return; + pending.delete(sessionId); + if (p.timer) { clearTimeout(p.timer); p.timer = null; } + if (p.parts.length) writeAll(sessionId, p.parts.join('')); + } + function onInternal(fn) { internal.add(fn); return () => internal.delete(fn); @@ -19,7 +44,10 @@ function createBus() { const set = clients.get(sessionId); if (!set) return; set.delete(res); - if (set.size === 0) clients.delete(sessionId); + if (set.size === 0) { + clients.delete(sessionId); + flush(sessionId); // 没人看了,把还摍着的清掉,避免 pending 常驻 + } } // event 名称 + 任意 JSON data。无客户端时静默丢弃(消息本身已持久化,重连可回放)。 @@ -32,13 +60,25 @@ function createBus() { } const set = clients.get(sessionId); if (!set || set.size === 0) return; + const payload = 'event: ' + event + '\ndata: ' + JSON.stringify(data) + '\n\n'; - for (const res of Array.from(set)) { - try { res.write(payload); } catch (_) { removeClient(sessionId, res); } + + if (MERGE_EVENTS.has(event)) { + let p = pending.get(sessionId); + if (!p) { p = { parts: [], timer: null }; pending.set(sessionId, p); } + p.parts.push(payload); + if (p.parts.length >= FLUSH_COUNT) { flush(sessionId); return; } + if (!p.timer) p.timer = setTimeout(() => flush(sessionId), FLUSH_MS); + return; } + + // 非合并事件:先把摍着的发掉,保证顺序不乱 + flush(sessionId); + writeAll(sessionId, payload); } function closeAll(sessionId) { + flush(sessionId); const set = clients.get(sessionId); if (!set) return; for (const res of Array.from(set)) {