From 71b83bb523ebb1eb18afae2f95a1b1f2928ce8d8 Mon Sep 17 00:00:00 2001 From: kicer Date: Tue, 17 Nov 2026 22:13:51 +0800 Subject: [PATCH] =?UTF-8?q?refactor(=E5=A2=9E=E9=87=8F=E4=B8=8A=E4=B8=8B?= =?UTF-8?q?=E6=96=87):=20=E7=94=A8=20archived=5Fcnt=20=E4=BB=A3=E6=9B=BF?= =?UTF-8?q?=20hash=20=E6=A0=A1=E9=AA=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 原来每轮算 messages 的 sha256 传给 relay 校验,但裁剪会随轮次推移改写历史 (read_file 等回执换成占位符),导致 hash 必然对不上、每次都 409 回退全量。 改成把「压缩代数」编进 context_id: ::: archived_cnt 是已被压缩掉的行数,压缩时自增 → id 自变 → relay 缓存自然失效。 裁剪只改内容不删行,不改变 id,所以不会打断增量(relay 里保留完本文,模型看到的信息更多)。 core 侧不再算 hash(省掉每轮全量序列化),relay 侧只判缓存存在与否。 --- app/server/engine.js | 17 ++++++++++++++--- app/server/llm.js | 24 ++++++++++-------------- 2 files changed, 24 insertions(+), 17 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index 648471e..8cd03f2 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -110,6 +110,14 @@ function loadHistory(sessionId) { return db.prepare('SELECT * FROM messages WHERE session_id = ? ORDER BY id').all(sessionId); } +// 已被压缩掉的行数 = 「压缩代数」。压缩时会把摘要之前的所有行标成 archived, +// 所以这个数单调递增;用它做增量上下文的 id 后缀,压缩后 id 自变,relay 缓存自然失效。 +function archivedCount(history) { + let n = 0; + for (const r of history || []) if (r.type === 'archived') n++; + return n; +} + function saveMessage(sessionId, msg) { const info = db.prepare( 'INSERT INTO messages (session_id, role, content, reasoning, tool_calls, tool_call_id, name, type, is_error, usage, created_at) VALUES (?,?,?,?,?,?,?,?,?,?,?)' @@ -1160,9 +1168,12 @@ async function streamAssistant(sessionId, run, session, messages, tools) { // key_slot 定位会话占用的具体 key 副本(model_id 只到「平台/模型」) const result = await callModel(cfg, session.model_id, messages, tools, { key_slot: session.model_slot, - // 增量上下文用:::,三层保证跨 core / 跨用户 / 跨会话都不撞。 - // 只有带 store: true 的模型才会真的用它(llm.js 判断)。 - context_id: instanceId(cfg.data_root) + ':' + (session.user || '-') + ':' + session.id, + // 增量上下文用::::。 + // archived_cnt = 已被压缩掉的行数,它就是「压缩代数」:压缩后自增 → id 自变 → + // relay 找不到缓存并回 409 → 发全量重建。裁剪不改它(只换内容不删行), + // 所以裁剪不会打断增量。只有带 store: true 的模型才真的用它(llm.js 判断)。 + context_id: instanceId(cfg.data_root) + ':' + (session.user || '-') + ':' + session.id + + ':' + archivedCount(session.history), signal: run.abortController.signal, shouldCancel: () => run.cancelled, onText: delta => bus.emit(sessionId, 'assistant_delta', { text: delta }), diff --git a/app/server/llm.js b/app/server/llm.js index b212959..3af9a00 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -2,14 +2,11 @@ // 累积 content 与 tool_calls 分片;支持 abort。 const fs = require('fs'); const path = require('path'); -const crypto = require('node:crypto'); -// 增量上下文:context_id -> { hash, len }(本进程认为 relay 已存到哪一段)。 +// 增量上下文:context_id -> { len }(本进程认为 relay 已存到第几条)。 // 只存指针不存正文;进程重启即清空 → 下一轮发全量,relay 整段替换,行为正确。 +// 不存 hash:id 里已经带 archived_cnt(压缩代数),压缩后 id 自变、缓存自然对不上。 const ctxState = new Map(); -function ctxHash(messages) { - return crypto.createHash('sha256').update(JSON.stringify(messages)).digest('hex'); -} const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'profile-default.txt'), 'utf8'); @@ -724,7 +721,9 @@ async function callModel(cfg, modelId, messages, tools, options) { // ---- 增量上下文(context relay)---- // 仅对显式 store: true 的模型生效,且必须带 opts.context_id。 - // 不做前缀比对:压缩/改写/relay 重启一律靠 409 回退全量,客户端只负责“接着上次发”。 + // id 尾部的 archived_cnt 就是「压缩代数」:压缩会把老行标 archived,代数一变 id 就变, + // relay 自然找不到缓存并回 409,不需要额外传 hash。 + // 裁剪不改 id(只换内容不删行),所以它不会打断增量:relay 里留着完本文,模型读到的信息更多。 const cid = opts.context_id; const storeOn = !!(modelCfg.store && cid); const fullBody = JSON.stringify(body); @@ -733,10 +732,8 @@ async function callModel(cfg, modelId, messages, tools, options) { headers['X-Context-Id'] = cid; if (st && messages.length > st.len) { body.messages = messages.slice(st.len); // 只发新增 - headers['X-Context-Hash'] = st.hash; - } else { - headers['X-Context-Hash'] = ''; // 首轮 / 压缩后:全量替换 } + // st 为空(首轮 / 进程重启 / 压缩后新 id)时什么都不带:messages 保持全量。 } let res = await fetch(modelCfg.url + '/chat/completions', { @@ -746,11 +743,10 @@ async function callModel(cfg, modelId, messages, tools, options) { signal: controller.signal, }); - // relay 说 hash 对不上(缓存没了 / 历史被改写):改发全量重试一次。 - // 只重试一次:hash="" 对 relay 是“整段替换”,重发后不可能再 409。 + // 409 = relay 那边没有这个 id 的缓存(重启 / TTL / LRU / 压缩换了 id):改发全量重试一次。 + // 只重试一次:重发的是全量,relay 会整段存下,不可能再 409。 if (storeOn && res.status === 409) { body.messages = messages; - headers['X-Context-Hash'] = ''; res = await fetch(modelCfg.url + '/chat/completions', { method: 'POST', headers, @@ -765,9 +761,9 @@ async function callModel(cfg, modelId, messages, tools, options) { err.upstream_status = res.status; throw err; } - // 成功才更新“relay 已存到哪”:失败下一轮自然重发全量。 + // 成功才更新“relay 已存到几条”:失败下一轮自然重发全量。 if (storeOn) { - ctxState.set(cid, { hash: ctxHash(messages), len: messages.length }); + ctxState.set(cid, { len: messages.length }); } let content = '';