From 510eb2fa3ef9c50170438cea4a7a25e4ea371814 Mon Sep 17 00:00:00 2001 From: kicer Date: Sat, 5 Sep 2026 06:04:42 +0800 Subject: [PATCH] =?UTF-8?q?SSE=20=E8=B0=83=E8=AF=95=E4=BF=A1=E5=8F=B7?= =?UTF-8?q?=EF=BC=9AforEachSSEData=20=E5=A2=9E=E5=8A=A0=20onMeta/onBadData?= =?UTF-8?q?=20=E5=8F=AF=E9=80=89=E5=9B=9E=E8=B0=83?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit llm.js 保持纯 IO 职责:forEachSSEData 把非 data 行(event:/id:/retry:/注释) 逐行通过可选回调 onMeta 透出,把 data 行 JSON.parse 失败时通过可选回调 onBadData 透出原始字符串。流式行为不变,content/tool_calls 累加逻辑零改动。 engine.js 的 streamAssistant 在 callModel 的 options 里挂上: - onMeta → log.debug('[sse] ...'),meta 是时间性调试信息 - onBadData → log.warn('[sse] 坏帧...'),坏帧是真异常不该静默 同时移除 saveMessage 里的 'AI 回复全文/用户消息全文' debug 块(tool_calls JSON 刷屏、含图消息会带大段 base64 没必要),改由更底层的 SSE 调试信号 替代,方便定位 'AI 回复 0 字' 这类上游响应异常。 --- app/server/engine.js | 13 +++++-------- app/server/llm.js | 24 +++++++++++++++++++----- 2 files changed, 24 insertions(+), 13 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index 656598e..cb9a8c0 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -94,15 +94,8 @@ function saveMessage(sessionId, msg) { } log.info('[msg] ' + sessionId + ' AI 回复:文本 ' + String(msg.content || '').length + ' 字' + toolDesc); } - // debug 等级:用户/AI 消息全文打印(含 tool_calls 参数),方便调试;info 仍只给概述。 - // 不含 tool 角色:工具结果另在 runLoopInner 记 debug,且含图消息的大段 base64 不应刷进日志。 - if (msg.role === 'user' || msg.role === 'assistant') { - log.debug('[msg] ' + sessionId + ' ' + (msg.role === 'user' ? '用户消息全文' : 'AI 回复全文') + - (msg.name ? '(' + msg.name + ')' : '') + ':\n' + String(msg.content || '') + - (msg.tool_calls ? '\ntool_calls: ' + JSON.stringify(msg.tool_calls) : '')); - } return info.lastInsertRowid; -} + } // 记录一次模型回合的 token 用量(上游未返回 usage 时跳过)。 // 写入 model_usage 表,不建会话外键:删会话后累计统计仍保留。 @@ -566,6 +559,10 @@ async function streamAssistant(sessionId, run, session, messages, tools) { onReasoning: delta => bus.emit(sessionId, 'reasoning_delta', { text: delta }), // 本轮是否启用深度思考;由 postUserMessage 从消息 POST 参数写进 run deepThink: !!run.deepThink, + // 上游 SSE 调试信号:非 data 行(event:/id:/retry:/注释/未知)逐行 debug,data 坏帧 warn。 + // meta 是时间性调试信息,事件稀少;badData 是真异常,不该静默。 + onMeta: line => log.debug('[sse] ' + sessionId + ' ' + line), + onBadData: raw => log.warn('[sse] ' + sessionId + ' 坏帧:' + raw.slice(0, 200)), }); } finally { run.abortController = null; diff --git a/app/server/llm.js b/app/server/llm.js index db97f61..a97060a 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -76,7 +76,10 @@ function buildMessages(session, language) { } // 解析 SSE 行流,对每个 data: JSON 调用 onEvent。 -async function forEachSSEData(response, onEvent) { +// 可选回调:onMeta(line) 逐行接收非 data 字段(event:/id:/retry:/注释/未知字段), +// onBadData(raw) 在 data 行 JSON.parse 失败时被调用(原始字符串)。 +// 两个回调都可选,传入则启用;流式行为不变(data 仍逐帧下传到 onEvent)。 +async function forEachSSEData(response, onEvent, onMeta, onBadData) { const reader = response.body.getReader(); const decoder = new TextDecoder(); let buf = ''; @@ -88,12 +91,23 @@ async function forEachSSEData(response, onEvent) { while ((idx = buf.indexOf('\n\n')) >= 0) { const block = buf.slice(0, idx); buf = buf.slice(idx + 2); + const dataPieces = []; for (const line of block.split('\n')) { const t = line.trim(); - if (!t.startsWith('data:')) continue; - const data = t.slice(5).trim(); - if (data === '[DONE]') return; - try { onEvent(JSON.parse(data)); } catch (_) { /* 忽略坏帧 */ } + if (t.startsWith('data:')) { + dataPieces.push(t.slice(5).trim()); + } else if (t.length && onMeta) { + // SSE 注释行以 ':' 开头(如 ":keep-alive"),这里原样交给 onMeta + onMeta(t); + } + } + if (!dataPieces.length) continue; + const data = dataPieces.join('\n'); + if (data === '[DONE]') return; + try { + onEvent(JSON.parse(data)); + } catch (_) { + if (onBadData) onBadData(data); } } }