From ca8099b158b0e1108fdcf9544dee7e8d44bef685 Mon Sep 17 00:00:00 2001 From: kicer Date: Tue, 17 Nov 2026 23:41:26 +0800 Subject: [PATCH] =?UTF-8?q?perf(=E5=A2=9E=E9=87=8F=E4=B8=8A=E4=B8=8B?= =?UTF-8?q?=E6=96=87):=20=E6=95=B0=E7=BB=84=E6=9C=AA=E5=8F=98=E6=97=B6?= =?UTF-8?q?=E5=8F=91=E7=A9=BA=E5=A2=9E=E9=87=8F=EF=BC=8C=E4=B8=8D=E5=86=8D?= =?UTF-8?q?=E6=95=B4=E6=AE=B5=E9=87=8D=E4=BC=A0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 两个场景会重建出与上一轮完全相同的数组: - engine 的重试循环(429 / 5xx / 流中断)复用同一份 messages - 会话中途切模型,cid 不含模型名,消息数不变 原来这两种都走 Reset 全量(1.5MB),而 relay 里明明有一模一样的缓存。 现在发空 messages 数组,relay 用缓存原样转发,上传约 200 字节。 缓存不在时 relay 回 409,走既有的重试分支(带 Reset 全量),自愈。 六条路径回归:首轮全量 / 正常追加 1 条 / 切模型 0 条 / 纯重试 0 条 / 编辑截断全量 / 空增量遇 409 回落全量;__rowId 全程零泄漏。 --- app/server/llm.js | 16 +++++++++++----- 1 file changed, 11 insertions(+), 5 deletions(-) diff --git a/app/server/llm.js b/app/server/llm.js index bbb0516..8c88efe 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -750,13 +750,19 @@ async function callModel(cfg, modelId, messages, tools, options) { if (storeOn) { const st = ctxState.get(cid); headers['X-Context-Id'] = cid; + // 锚点:上一轮发出去的数组里最后一条库行的 messages.id。 const anchor = st && st.len > 0 ? messages[st.len - 1] : null; - const anchored = !!(st && messages.length > st.len && anchor && anchor.__rowId === st.lastRowId); - if (anchored) { - // body.messages 此时是已剥键的全量数组,与 messages 同序同长,索引可直接沿用。 - body.messages = strippedFull.slice(st.len); // 只发新增 + const anchorOk = !!(st && anchor && anchor.__rowId === st.lastRowId); + if (anchorOk && messages.length === st.len) { + // 数组与上次一模一样(错误重试 / 切模型但没新增消息):发空增量, + // relay 用缓存原样转发即可。缓存不在时它会回 409,下面重试一次全量。 + body.messages = []; + } else if (anchorOk && messages.length > st.len) { + // 前缀没动:只发新增。strippedFull 与 messages 同序同长,索引可直接沿用。 + body.messages = strippedFull.slice(st.len); } else { - headers['X-Context-Reset'] = '1'; // 全量:首轮 / 进程重启 / 压缩后新 id / 历史被改 + // 全量:首轮 / 进程重启 / 压缩后新 id / 历史被改 + headers['X-Context-Reset'] = '1'; } }