From a20028a7035daf4dac71ea07d01d0094d7a28cff Mon Sep 17 00:00:00 2001 From: kicer Date: Mon, 21 Sep 2026 12:42:23 +0800 Subject: [PATCH] =?UTF-8?q?HTTP=20200=20=E6=B5=81=E5=86=85=E9=94=99?= =?UTF-8?q?=E8=AF=AF=E5=B8=A7=E7=9B=B4=E6=8E=A5=E8=BD=AC=20throw=EF=BC=9A?= =?UTF-8?q?=E6=B1=87=E5=85=A5=E9=9D=9E200=E9=87=8D=E8=AF=95/=E5=A4=B1?= =?UTF-8?q?=E8=B4=A5=E4=B8=8A=E5=B1=8F=E9=93=BE=E8=B7=AF=EF=BC=8C=E4=B8=8D?= =?UTF-8?q?=E5=86=8D=E5=8F=AA=E7=95=99=E6=97=A5=E5=BF=97=EF=BC=9BforEachSS?= =?UTF-8?q?EData=20=E5=8F=AA=E6=8C=89=20JSON=20=E8=A7=A3=E6=9E=90=E5=A4=B1?= =?UTF-8?q?=E8=B4=A5=E5=88=A4=E5=9D=8F=E5=B8=A7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/server/engine.js | 4 ++-- app/server/llm.js | 18 ++++++++++++++++-- 2 files changed, 18 insertions(+), 4 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index e79d88d..9787e47 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -747,9 +747,9 @@ async function streamAssistant(sessionId, run, session, messages, tools) { onMeta: handleSseMeta, onFetchParams: params => log.debug('req', JSON.stringify(params, null, 2)), onBadData: raw => log.warn('sse', sessionId + ' 坏帧:' + raw.slice(0, 200)), - // data 解析成功但没有 choices(如 event: error 帧):上游发了非正常响应, + // data 解析成功但没有 choices 也无 usage 的怪帧(含 evt.error 的错误帧已在 callModel 内转 throw 上屏): // 之前会伪装成"0 字"沉默忽略,这里 warn 把原始 evt 打出来便于定位。 - onBadEvent: evt => log.warn('sse', sessionId + ' 上游错误帧:' + JSON.stringify(evt).slice(0, 500)), + onBadEvent: evt => log.warn('sse', sessionId + ' 上游怪帧(无 choices):' + JSON.stringify(evt).slice(0, 500)), }); // 本轮上游响应总览:帧数 + 文本长度 + 工具调用 + finish + aborted。 // sseFrames=0 且 aborted=false 表示上游未发任何 data(疑似流异常);其他情况可快速区分 diff --git a/app/server/llm.js b/app/server/llm.js index 8f16089..42e130a 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -260,11 +260,15 @@ async function forEachSSEData(response, onEvent, onMeta, onBadData) { if (!dataPieces.length) continue; const data = dataPieces.join('\n'); if (data === '[DONE]') return; + // 只把 JSON 解析失败归入坏帧;onEvent 内抛出的错误(如错误帧转的 throw)必须冒泡,不能被当成坏帧吞掉。 + let parsed; try { - onEvent(JSON.parse(data)); + parsed = JSON.parse(data); } catch (_) { if (onBadData) onBadData(data); + continue; } + onEvent(parsed); } } } @@ -407,8 +411,18 @@ async function callModel(cfg, modelId, messages, tools, options) { if (evt.usage) usage = evt.usage; const choice = evt.choices && evt.choices[0]; if (!choice) { + // 部分代理把错误包成 HTTP 200 流内的 {"error":...} 帧:直接转 throw, + // 汇入既有「非 200 → 重试/放弃 → ⚠️ 上屏」链路,不再静默吞帧。 + if (evt.error) { + const msg = String(evt.error.message || evt.error.code || JSON.stringify(evt.error)).slice(0, 500); + const err = new Error('上游错误帧: ' + msg); + // 请求侧错误(参数不兼容等)重试也不会好,标 400 跳过重试 + if (/client_error|invalid_request/i.test(String(evt.error.code || '') + ' ' + String(evt.error.type || ''))) err.upstream_status = 400; + controller.abort(); // 放掉底层连接(abort 不影响本次 throw) + throw err; + } // choices=[] 但含 usage:OpenAI 兼容协议最后一帧只发 token 统计,正常情况, - // 不算错误帧。其它无 usage 也无 choices 的(如 event: error 帧)才走 onBadEvent。 + // 不算错误帧。其它无 usage 也无 choices 的怪帧才走 onBadEvent。 if (!evt.usage && opts.onBadEvent) opts.onBadEvent(evt); return; }