perf(sse): 合并高频流式事件,减少 TCP 小包
LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write, 而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。 手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被 小包拖住),表现就是流式输出时整个界面卡顿。 改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲: 攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call / assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。 预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。 所有客户端受益(隧道、局域网直连、微信桥接)。
This commit is contained in:
+43
-3
@@ -5,6 +5,31 @@ function createBus() {
|
||||
const clients = new Map(); // session_id -> Set<res>
|
||||
const internal = new Set(); // fn(sessionId, event, data)
|
||||
|
||||
// 高频事件的合并缓冲:LLM 每吐一个 token 就是一条 assistant_delta,一次 res.write 就是一个
|
||||
// TCP 包(Node 默认 TCP_NODELAY)。手机热点 / 跨境链路上包数比字节数更伤——每包都要射频调度,
|
||||
// 拥塞窗口也容易被小包拖住。摍 50ms 或 8 条合并成一次 write。
|
||||
// 其他事件立即发,但发前先 flush,保证前端看到的顺序和产生顺序一致。
|
||||
const MERGE_EVENTS = new Set(['assistant_delta', 'reasoning_delta', 'tool_call_args']);
|
||||
const FLUSH_MS = 50;
|
||||
const FLUSH_COUNT = 8;
|
||||
const pending = new Map(); // session_id -> { parts: string[], timer }
|
||||
|
||||
function writeAll(sessionId, payload) {
|
||||
const set = clients.get(sessionId);
|
||||
if (!set || set.size === 0) return;
|
||||
for (const res of Array.from(set)) {
|
||||
try { res.write(payload); } catch (_) { removeClient(sessionId, res); }
|
||||
}
|
||||
}
|
||||
|
||||
function flush(sessionId) {
|
||||
const p = pending.get(sessionId);
|
||||
if (!p) return;
|
||||
pending.delete(sessionId);
|
||||
if (p.timer) { clearTimeout(p.timer); p.timer = null; }
|
||||
if (p.parts.length) writeAll(sessionId, p.parts.join(''));
|
||||
}
|
||||
|
||||
function onInternal(fn) {
|
||||
internal.add(fn);
|
||||
return () => internal.delete(fn);
|
||||
@@ -19,7 +44,10 @@ function createBus() {
|
||||
const set = clients.get(sessionId);
|
||||
if (!set) return;
|
||||
set.delete(res);
|
||||
if (set.size === 0) clients.delete(sessionId);
|
||||
if (set.size === 0) {
|
||||
clients.delete(sessionId);
|
||||
flush(sessionId); // 没人看了,把还摍着的清掉,避免 pending 常驻
|
||||
}
|
||||
}
|
||||
|
||||
// event 名称 + 任意 JSON data。无客户端时静默丢弃(消息本身已持久化,重连可回放)。
|
||||
@@ -32,13 +60,25 @@ function createBus() {
|
||||
}
|
||||
const set = clients.get(sessionId);
|
||||
if (!set || set.size === 0) return;
|
||||
|
||||
const payload = 'event: ' + event + '\ndata: ' + JSON.stringify(data) + '\n\n';
|
||||
for (const res of Array.from(set)) {
|
||||
try { res.write(payload); } catch (_) { removeClient(sessionId, res); }
|
||||
|
||||
if (MERGE_EVENTS.has(event)) {
|
||||
let p = pending.get(sessionId);
|
||||
if (!p) { p = { parts: [], timer: null }; pending.set(sessionId, p); }
|
||||
p.parts.push(payload);
|
||||
if (p.parts.length >= FLUSH_COUNT) { flush(sessionId); return; }
|
||||
if (!p.timer) p.timer = setTimeout(() => flush(sessionId), FLUSH_MS);
|
||||
return;
|
||||
}
|
||||
|
||||
// 非合并事件:先把摍着的发掉,保证顺序不乱
|
||||
flush(sessionId);
|
||||
writeAll(sessionId, payload);
|
||||
}
|
||||
|
||||
function closeAll(sessionId) {
|
||||
flush(sessionId);
|
||||
const set = clients.get(sessionId);
|
||||
if (!set) return;
|
||||
for (const res of Array.from(set)) {
|
||||
|
||||
Reference in New Issue
Block a user