From 8096d429267464456667d16d64124ef6273ac6d6 Mon Sep 17 00:00:00 2001 From: kicer Date: Tue, 17 Nov 2026 23:36:15 +0800 Subject: [PATCH] =?UTF-8?q?fix(engine):=20=E5=8E=86=E5=8F=B2=E8=A2=AB?= =?UTF-8?q?=E6=94=B9=E5=90=8E=E4=B8=8D=E5=86=8D=E9=94=99=E5=88=87=E5=A2=9E?= =?UTF-8?q?=E9=87=8F=E4=B8=8A=E4=B8=8B=E6=96=87=EF=BC=8C=E9=81=BF=E5=85=8D?= =?UTF-8?q?=E4=B8=8A=E6=B8=B8=20tool=5Fcall=5Fmismatch?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit ctx-relay 只是把 delta 接到缓存屁股后面再转发,自己没有校正能力(Reset 才整段替换)。 能不能只发新增全靠 core 判断,而原来的判据只有「长度」:messages.length > st.len。 编辑消息会丢弃其后全部历史,新内容随后又长出来,长度可能反而更大 —— 判据照样通过, slice(st.len) 的切点却落到了旧历史的中间,relay concat 出一份错位数组(assistant 带 tool_calls 但紧跟的回执属于别的批次),上游以 tool_call_mismatch 400 拒收。 改成锚点判:ctxState 从 {len} 变成 {len, lastRowId},lastRowId 是本轮发出去的数组里 最后一个来自数据库的行的 messages.id(末尾可能是合成的图片提示行,往前找)。下一轮检查 messages[st.len-1].__rowId 是否还是它 —— 是则前缀原封未动,只发 slices;否则整段重发。 __rowId 是内部键,序列化前统一剥掉(复用原 __reasoning 的 map,增量分支改用已剥的 body.messages 而不是原始 messages,否则会把内部键发给上游)。 历史被改只有两种形态:尾部截断(编辑/清空/压缩)必然让锚点失效;中间挖洞(删单条) 后面的行位置变了但末尾 id 没变,锚点查不出 —— 所以 deleteMessage / deleteToolMessage / clearSessionMessages / editUserMessage 都调 invalidateContext(cid) 直接作废指针, 下一轮走 X-Context-Reset 全量重建。压缩不用调:archived_cnt +1 会让 cid 自变。 端到端验过四种场景(假上游捕获实际请求体):首轮 Reset 全量、正常追加只发 1 条、 编辑截断回落 Reset、作废指针回落 Reset;__rowId 零泄漏。 --- app/server/engine.js | 23 +++++++++++++++--- app/server/llm.js | 57 +++++++++++++++++++++++++++++++++++--------- 2 files changed, 66 insertions(+), 14 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index 8cd03f2..c8271cc 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -2,7 +2,7 @@ // 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。 const fs = require('fs'); const path = require('path'); -const { buildMessages, callModel, encodeBlocks, decodeBlocks, compressMessages, titleMessages, setProfilePrompts, patchImageReceipt } = require('./llm'); +const { buildMessages, callModel, encodeBlocks, decodeBlocks, compressMessages, titleMessages, setProfilePrompts, patchImageReceipt, invalidateContext } = require('./llm'); const { instanceId } = require('./instance'); const { executeTool, resolveInTask } = require('./tools/executor'); const publicFiles = require('./public-files'); @@ -118,6 +118,13 @@ function archivedCount(history) { return n; } +// 增量上下文 id 的拼法(与 llm.js 的 X-Context-Id 一致)::::。 +// 删除消息后要把这个 key 作废,让下一轮走全量重建。 +function contextIdOf(session) { + return instanceId(cfg.data_root) + ':' + (session.user || '-') + ':' + session.id + + ':' + archivedCount(session.history); +} + function saveMessage(sessionId, msg) { const info = db.prepare( 'INSERT INTO messages (session_id, role, content, reasoning, tool_calls, tool_call_id, name, type, is_error, usage, created_at) VALUES (?,?,?,?,?,?,?,?,?,?,?)' @@ -1172,8 +1179,7 @@ async function streamAssistant(sessionId, run, session, messages, tools) { // archived_cnt = 已被压缩掉的行数,它就是「压缩代数」:压缩后自增 → id 自变 → // relay 找不到缓存并回 409 → 发全量重建。裁剪不改它(只换内容不删行), // 所以裁剪不会打断增量。只有带 store: true 的模型才真的用它(llm.js 判断)。 - context_id: instanceId(cfg.data_root) + ':' + (session.user || '-') + ':' + session.id - + ':' + archivedCount(session.history), + context_id: contextIdOf(session), signal: run.abortController.signal, shouldCancel: () => run.cancelled, onText: delta => bus.emit(sessionId, 'assistant_delta', { text: delta }), @@ -1850,7 +1856,9 @@ function clearSessionMessages(sessionId) { } runs.delete(sessionId); clearPendings(sessionId); // 历史清零:队列里的消息也没了着落,一并作废 + const cid = contextIdOf(session); // 删行不影响 archived_cnt,先算后算等价 db.prepare('DELETE FROM messages WHERE session_id = ?').run(sessionId); + invalidateContext(cid); // 历史清零:增量指针也得跟着作废 wipeSessionTmp(sessionId); // 会话级 /tmp 随清空一并抹掉(尽力而为,失败只记日志不阻断) autoCompressProposed.delete(sessionId); // 历史清零,恢复自动压缩提议额度 // 标题随历史一并清零:旧标题描述的是已删除的对话,留着会让新对话文不对题; @@ -1886,6 +1894,7 @@ function deleteMessage(sessionId, messageId) { const row = db.prepare('SELECT * FROM messages WHERE id = ? AND session_id = ?').get(messageId, sessionId); if (!row) throw Object.assign(new Error('消息不存在'), { status_code: 404 }); if (row.role === 'tool') return deleteToolMessage(sessionId, row); + const cid = contextIdOf(session); // 删之前先算:archived_cnt 不受删行影响,两者等价,但先算更直观 let removed = 0; if (row.tool_calls) { let calls = []; @@ -1897,6 +1906,9 @@ function deleteMessage(sessionId, messageId) { } } db.prepare('DELETE FROM messages WHERE id = ?').run(messageId); + // 删中间一条:后面的行位置全变,但末尾行 id 没变,锚点查不出来——主动作废增量指针, + // 下一轮改发 X-Context-Reset 全量重建,否则 relay 缓存里还留着被删那行,增量拼出来会错位。 + invalidateContext(cid); return { ok: true, id: messageId, removed: removed + 1 }; } @@ -1914,6 +1926,8 @@ function editUserMessage(sessionId, messageId, content, opts) { // 先确保能开跑:无可用模型时抛 503,避免删完历史却发不出去 ensureBinding(session); const removed = db.prepare('DELETE FROM messages WHERE session_id = ? AND id >= ?').run(sessionId, messageId).changes; + // 尾部截断:锚点本就能查出,但这里紧接着就重新发消息,一并作废指针更直接 + invalidateContext(contextIdOf(session)); const r = postUserMessage(sessionId, content, opts); log.info('msg', sessionId + ' 编辑消息 ' + messageId + ',丢弃其后 ' + Math.max(0, removed - 1) + ' 条历史'); return Object.assign({ removed: removed }, r); @@ -1944,6 +1958,9 @@ function deleteToolMessage(sessionId, row) { } break; // id 唯一,命中即止 } + // 同上:回执被删、父调用也改过 tool_calls,历史已被控——作废增量指针 + const s = getSession(sessionId); + if (s) invalidateContext(contextIdOf(s)); return { ok: true, id: row.id, removed }; } diff --git a/app/server/llm.js b/app/server/llm.js index 4bf2df4..619723f 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -313,7 +313,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) // summarize_request(旧版遗留行):仅在未收尾的旧压缩回合内发给模型,其余一律跳过 if (row.type === 'summarize_request') { if (i > lastClosingAssistant && (row.content || '').trim()) { - messages.push({ role: 'user', content: row.content }); + messages.push({ role: 'user', content: row.content, __rowId: row.id }); } return; } @@ -343,7 +343,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) }); return; } - const m = { role: 'assistant', content: row.content || '' }; + const m = { role: 'assistant', content: row.content || '', __rowId: row.id }; // 思维链回传原料:存库 reasoning 随原样带给 callModel(中性内部键,按模型 // reasoning_ack_field 改名注入后此键必被剥除,不会泄往上游)。 if (row.reasoning) m.__reasoning = row.reasoning; @@ -424,9 +424,9 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) } if (row.role === 'tool') { if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter, turnsAfter); - messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content }); + messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content, __rowId: row.id }); } else { - messages.push({ role: row.role, content }); + messages.push({ role: row.role, content, __rowId: row.id }); } }); // 未消费图片合并发送:图上文字置顶、图块紧随(同序)。 @@ -654,6 +654,14 @@ function splitInlineThinking(raw) { return { content: text.trim(), reasoning: think.trim() }; } +// 剥离内部键 __rowId(锚点用):有才拷贝,没就原样返回,避免每行都新建对象 +function stripRowId(m) { + if (!m || m.__rowId == null) return m; + const c = Object.assign({}, m); + delete c.__rowId; + return c; +} + // 调模型一次。onText(textDelta) 回调流式文本。 // 返回 { content, tool_calls: [{id,name,arguments(string)}], finish_reason, usage, aborted } // 可选回调 opts.onToolCallStart({id,name}):某 tool_call 首次凑齐 id+name 时触发一次; @@ -691,20 +699,23 @@ async function callModel(cfg, modelId, messages, tools, options) { // 思维链回传(逐模型 opt-in):开思考时把 buildMessages 挂的内部键 __reasoning 按 // reasoning_ack_field 写回 assistant 行;关思考时整段不发。带 tool_calls 的行缺思维链 // 时用空串占位(缺失会被上游 400,空串实测通过)。__reasoning 是内部键,任何情况都剥。 + // __rowId(锚点用的库行 id)同样是内部键:没想发也不该发给上游,任何行有就剥。 if (body.messages && body.messages.length) { const ack = modelCfg.reasoning_ack_field; const send = !!(ack && opts.deepThink); body.messages = body.messages.map(mm => { - if (!mm || mm.role !== 'assistant') return mm; + if (!mm || mm.role !== 'assistant') return stripRowId(mm); if (!mm.__reasoning) { - if (!send || !mm.tool_calls) return mm; + if (!send || !mm.tool_calls) return stripRowId(mm); const c = Object.assign({}, mm); c[ack] = ''; + delete c.__rowId; // 内部键,不发给上游 return c; } const c = Object.assign({}, mm); if (send) c[ack] = mm.__reasoning; delete c.__reasoning; + delete c.__rowId; return c; }); } @@ -724,16 +735,26 @@ async function callModel(cfg, modelId, messages, tools, options) { // id 尾部的 archived_cnt 就是「压缩代数」:压缩会把老行标 archived,代数一变 id 就变, // relay 自然找不到缓存并回 409,不需要额外传 hash。 // 裁剪不改 id(只换内容不删行),所以它不会打断增量:relay 里留着完本文,模型读到的信息更多。 + // + // 能不能只发新增,靠「锚点」判:上一轮发出去的最后一条库行(其 messages.id)还在不在 + // 本轮数组的同一位置上。历史被改只有两种形态——尾部截断(编辑/清空/压缩后)与中间挖洞 + //(删单条,由 invalidateContext 另行作废)——前者必然让锚点对不上。 + // 只比长度是不行的:编辑台丢弃历史后新内容又长出来,长度可能反而更大,切点就错位了, + // relay 忠实 concat 出一份错位数组,上游按 tool_call_mismatch 拒收。 const cid = opts.context_id; const storeOn = !!(modelCfg.store && cid); const fullBody = JSON.stringify(body); if (storeOn) { const st = ctxState.get(cid); headers['X-Context-Id'] = cid; - if (st && messages.length > st.len) { - body.messages = messages.slice(st.len); // 只发新增 + const anchor = st && st.len > 0 ? messages[st.len - 1] : null; + const anchored = !!(st && messages.length > st.len && anchor && anchor.__rowId === st.lastRowId); + if (anchored) { + // 用 body.messages(已剥内部键)而不是 messages(原始数组,带 __rowId): + // 两者长度与顺序一致(上面的 map 保序保长),索引可直接沿用。 + body.messages = body.messages.slice(st.len); // 只发新增 } else { - headers['X-Context-Reset'] = '1'; // 全量:首轮 / 进程重启 / 压缩后新 id + headers['X-Context-Reset'] = '1'; // 全量:首轮 / 进程重启 / 压缩后新 id / 历史被改 } } @@ -764,8 +785,14 @@ async function callModel(cfg, modelId, messages, tools, options) { throw err; } // 成功才更新“relay 已存到几条”:失败下一轮自然重发全量。 + // lastRowId 取本轮发出去的数组里最后一个「来自数据库的行」的 id(末尾可能是合成的 + // 图片提示行,没有 __rowId,要往前找):它就是下一轮比对的锚点。 if (storeOn) { - ctxState.set(cid, { len: messages.length }); + let lastRowId = null; + for (let i = messages.length - 1; i >= 0; i--) { + if (messages[i] && messages[i].__rowId != null) { lastRowId = messages[i].__rowId; break; } + } + ctxState.set(cid, { len: messages.length, lastRowId: lastRowId }); } let content = ''; @@ -856,4 +883,12 @@ async function callModel(cfg, modelId, messages, tools, options) { return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames }; } -module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, setEnvMode, setPayloadTrim, setProfilePrompts, encodeBlocks, decodeBlocks, compressMessages, titleMessages, patchImageReceipt }; +// 作废某会话的增量上下文指针:下一轮直接走 X-Context-Reset 全量重建。 +// 用在「历史被挖了一个洞」的地方——删中间某条消息时,后面的行位置没变、 +// 锚点(末尾行 id)查不出异常,但 relay 缓存里还留着被删那行,增量拼出来就错位了。 +// 压缩不用调:压缩会改 cid(archived_cnt +1),自然回落。 +function invalidateContext(cid) { + if (cid) ctxState.delete(cid); +} + +module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, setEnvMode, setPayloadTrim, setProfilePrompts, encodeBlocks, decodeBlocks, compressMessages, titleMessages, patchImageReceipt, invalidateContext };