From d34c14c970536a2dcab80e606f2ff566d9ef9476 Mon Sep 17 00:00:00 2001 From: kicer Date: Mon, 7 Sep 2026 10:07:28 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BC=98=E5=8C=96=E5=8E=8B=E7=BC=A9=E5=8A=9F?= =?UTF-8?q?=E8=83=BD=E5=AE=9E=E7=8E=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/config.example.yml | 6 ++-- app/server/config.js | 4 +-- app/server/engine.js | 23 ++++++++------ app/server/llm.js | 56 ++++++++++++++++++++++++++++------- app/server/routes/messages.js | 6 ++-- docs/ARCHITECTURE.md | 2 +- 6 files changed, 69 insertions(+), 28 deletions(-) diff --git a/app/config.example.yml b/app/config.example.yml index a323ce2..02e4f66 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -93,9 +93,9 @@ model_hold: active_max_ms: 1800000 # 30 分钟 sweep_ms: 10000 # 10 秒 -# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不再作为 user 消息插入会话, -# 而是把压缩回合的 system prompt 整体替换为固定模板,且该回合不传 tools。 -# 默认提示词在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。 +# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不作为 user 消息插入会话: +# 压缩回合只发一条 system(模板里 {{conversation}} 占位符自动替换为完整历史)+ 一句触发语,且该回合不传 tools。 +# 提示词固定在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。 # 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。 # 登录页 /login,会话 token 以 HttpOnly cookie 下发(替代 nginx htpasswd: diff --git a/app/server/config.js b/app/server/config.js index 4c08278..ed60f44 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -28,8 +28,8 @@ const DEFAULTS = { model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, // 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。 log_level: 'info', - // 上下文压缩提示词不再走配置:压缩回合直接整体替换 system prompt, - // 默认提示词固定在 server/templates/compress-prompt.txt(见 llm.compressPromptText)。 + // 上下文压缩提示词不再走配置:压缩回合只发一条 system(固定模板,{{conversation}} + // 占位符替换为完整历史)+ 一句触发语,不传 tools;模板在 server/templates/compress-prompt.txt。 platforms: [], // 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。 // users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。 diff --git a/app/server/engine.js b/app/server/engine.js index 260226d..436211d 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -2,7 +2,7 @@ // 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。 const fs = require('fs'); const path = require('path'); -const { buildMessages, callModel, encodeBlocks, compressPromptText } = require('./llm'); +const { buildMessages, callModel, encodeBlocks, compressPromptText, historyTranscript } = require('./llm'); const { executeTool, resolveInTask } = require('./tools/executor'); const mcp = require('./mcp'); const log = require('./log'); @@ -433,10 +433,13 @@ async function runLoopInner(sessionId, run) { session.history = loadHistoryForModel(sessionId); for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id; // 压缩回合(run.summaryMode 非空 = 由「压缩」按钮发起、尚未产出摘要): - // system prompt 整体替换为压缩提示词(templates/compress-prompt.txt), - // 且不随请求传 tools:模型拿得到完整历史,但只能输出总结文本,不会再调工具。 + // 只发一条 system(压缩模板,{{conversation}} 占位符已填入完整历史纯文本) + // + 一句触发 user,历史不再以 messages 重复占 token;且不传 tools,模型只能输出摘要文本。 const compressing = !!run.summaryMode; - const messages = buildMessages(session, (cfg.agent || {}).language, compressing ? compressPromptText() : null); + const messages = compressing + ? [{ role: 'system', content: compressPromptText(historyTranscript(session)) }, + { role: 'user', content: '请按以上要求输出「上下文摘要」。' }] + : buildMessages(session, (cfg.agent || {}).language); // 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发) const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions()); @@ -918,8 +921,9 @@ function deleteSession(sessionId, deleteDir) { } // 上下文压缩:phase-bar「压缩」按钮触发。不再往会话里插入指令消息: -// 压缩回合的 system prompt 直接整体替换为 templates/compress-prompt.txt(见 llm.compressPromptText), -// 且该回合不传 tools(见 runLoopInner 的 compressing 分支),模型基于完整历史输出总结。 +// 压缩回合只发一条 system(templates/compress-prompt.txt 模板,{{conversation}} 占位符 +// 替换为完整历史纯文本,见 llm.compressPromptText / historyTranscript)+ 一句触发语, +// 且不传 tools(见 runLoopInner 的 compressing 分支),模型直接基于该记录输出摘要。 // 识别标记 = run.summaryMode(仅在内存 run 上,不入库):runLoopInner 据此换 prompt/去 tools, // 并在压缩回合的收尾答复 emit 时带 is_summary: true + mode,前端按用户选择的模式走完最后一步 //(compress_and_clear 时调 DELETE ?keep=summary 清空历史、仅留该摘要并标 type='summary')。 @@ -929,8 +933,9 @@ function deleteSession(sessionId, deleteDir) { // 重启后需重新点「压缩」。 // 限制:与 clearSessionMessages 类似——会话执行中(active)禁止操作,避免和正在跑的回合抢上下文。 // mode: 'generate_only' 或 'compress_and_clear',由路由校验后传入。 -// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」; -// 该气泡仅供展示,不入库也不发给模型(指令走 system prompt)。 +// 响应回显 prompt:前端「开始压缩后渲染成一条普通用户消息气泡」;只回一句短提示, +// 不回完整模板(压缩指令的真实内容在压缩回合开跑时实时序列化进 system prompt, +// 与气泡无关,气泡仅供展示、不入库也不发给模型)。 function summarizeContext(sessionId, mode) { const session = getSession(sessionId); if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 }); @@ -938,7 +943,7 @@ function summarizeContext(sessionId, mode) { if (run && run.looping) { throw Object.assign(new Error('任务正在执行,请先「终止」再压缩'), { status_code: 409 }); } - const prompt = compressPromptText(); + const prompt = '正在压缩上下文:AI 将基于完整对话记录生成摘要…'; // 与 postUserMessage 同样的唤醒/排队流转,但不落任何消息行; // run.summaryMode 标记本回合为压缩回合,摘要产出后由 runLoopInner 清空。 // 状态流转时顺带重置 deepThink:压缩回合不需要思考参数,避免沿用上一轮的残留值。 diff --git a/app/server/llm.js b/app/server/llm.js index 98b96b7..e01d96c 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -5,12 +5,50 @@ const path = require('path'); const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'system-prompt.txt'), 'utf8'); -// 上下文压缩提示词:点「压缩」时不再往会话里插入指令消息,而是把压缩回合的 -// system prompt 整体替换为这份提示词(见 engine.summarizeContext / runLoopInner), -// 且该回合不随请求发送 tools。需要调整压缩策略时直接改这个模板文件。 +// 上下文压缩提示词(templates/compress-prompt.txt):点「压缩」时不插入指令消息, +// 压缩回合只发一条 system(本模板,{{conversation}} 占位符替换为完整历史纯文本, +// 见 compressPromptText / historyTranscript)+ 一句 user 触发语,且该回合不传 tools。 +// 需要调整压缩策略时直接改这个模板文件(不写 {{conversation}} 则历史自动追加到末尾)。 const COMPRESS_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'compress-prompt.txt'), 'utf8'); -function compressPromptText() { - return COMPRESS_PROMPT_TEMPLATE; + +// 把即将压缩的会话历史序列化为「用户/AI 交互记录」纯文本,填入模板 {{conversation}} 处。 +// 与 buildMessages 同取舍:archived 行不进记录(旧摘要之后的内容才算「本轮上下文」); +// __blocks__ 哨兵 JSON 还原为文字,图片以 [图片] 占位,base64 不进摘要记录。 +function historyTranscript(session) { + const lines = []; + for (const row of (session && session.history) || []) { + if (row.type === 'archived') continue; + let content = row.content || ''; + const blocks = decodeBlocks(content); + if (blocks) content = blocks.map(b => (b && b.type === 'text' ? b.text : '[图片]')).join('\n'); + if (row.role === 'user') { + lines.push(row.name === 'session_context' ? '[环境信息]\n' + content : '[用户] ' + content); + } else if (row.role === 'assistant') { + const parts = []; + if (content) parts.push('[AI] ' + content); + let calls = null; + if (row.tool_calls) { try { calls = JSON.parse(row.tool_calls); } catch (_) {} } + for (const c of calls || []) { + const f = (c && c.function) || {}; + parts.push('[AI 调用工具 ' + (f.name || '') + '] ' + (f.arguments || '')); + } + if (parts.length) lines.push(parts.join('\n')); + } else if (row.role === 'tool') { + lines.push('[工具 ' + (row.name || '') + ' 输出] ' + content); + } + } + return lines.join('\n\n'); +} + +// 填充压缩模板:替换全部 {{conversation}} 占位符;用函数形式传替换串, +// 避免历史文本里的 $&、$' 等序列被 String.replace 当作替换模式误解析。 +// 模板里没写占位符时,把记录追加到末尾(保证任何改法的模板都能拿到历史)。 +function compressPromptText(conversation) { + const rec = String(conversation == null ? '' : conversation); + if (COMPRESS_PROMPT_TEMPLATE.includes('{{conversation}}')) { + return COMPRESS_PROMPT_TEMPLATE.replaceAll('{{conversation}}', () => rec); + } + return COMPRESS_PROMPT_TEMPLATE + '\n\n## 对话记录\n' + rec; } // system prompt 完全静态:所有会话共用同一份内容,利于上游前缀缓存。 @@ -90,10 +128,8 @@ function cachedDecodeBlocks(session, row) { // 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收); // 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 —— // 坏样本留在上下文里只会被模型继续模仿,反复报同一个错。 -// systemPromptOverride:非空时用它整体替换首条 system 消息(压缩回合传入 -// compressPromptText(),见 engine.runLoopInner);缺省走常规 system prompt。 -function buildMessages(session, language, systemPromptOverride) { - const messages = [{ role: 'system', content: systemPromptOverride || systemPromptText(language) }]; +function buildMessages(session, language) { + const messages = [{ role: 'system', content: systemPromptText(language) }]; const history = session.history; // 行被删除后清理残留的图片解析缓存条目(只增不清会缓慢泄漏;条数不会超过现存行数) if (session.blocksCache && session.blocksCache.size > history.length) { @@ -335,4 +371,4 @@ async function callModel(cfg, modelId, messages, tools, options) { return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames }; } -module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText }; +module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText, historyTranscript }; diff --git a/app/server/routes/messages.js b/app/server/routes/messages.js index 908ae7f..b73d495 100644 --- a/app/server/routes/messages.js +++ b/app/server/routes/messages.js @@ -77,9 +77,9 @@ router.delete('/:id/messages', wrap((req, res) => { // mode='generate_only' AI 总结;摘要之前的历史存档(type='archived',UI 保留展示、不再发给模型) // mode='compress_and_clear' AI 总结;前端完成后另调 DELETE ?keep=summary 把存档行物理清空,界面只留摘要 // 摘要行本身两种模式都会标成 type='summary'(见 engine.runLoopInner),作为后续轮次的上下文起点。 -// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合的 system prompt 整体替换为 -// templates/compress-prompt.txt 且不传 tools(见 engine.summarizeContext); -// 响应回显 prompt 供前端直接渲染该指令气泡(仅展示,不入库), +// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合只发一条 system(模板 + +// 完整历史填入 {{conversation}})且不带 tools(见 engine.summarizeContext); +// 响应仅回显一句短提示 prompt 供前端渲染指令气泡(不入库、不含模板正文), // 并在总结回合的最终 SSE assistant_message 上带 is_summary + mode 给前端走收尾。 // 状态非 active 时才允许(避免与正在跑的回合抢上下文)。本接口只是「丢一条总结请求进队列」, // 不等待 AI 完成——前端通过现有 SSE 流听 assistant_message 事件拿结果。 diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index 7bc01f4..e14f0d6 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -218,7 +218,7 @@ stateDiagram-v2 - `run.cancelled = true` 是停止的最终信号;远端子进程通过 `run.procs` 注册(local spawn 用 child、remote-exec 用 `remoteKill` 句柄),`killRunProcs` 按类型分别处理。 - `lastIncludedId` 跟踪本轮已纳入模型请求的最新消息 id;流式期间到达的新 user 消息靠它在下一轮迭代时自动带上。 - **errAck 机制**:工具参数结构性错误(JSON 非法/缺必填)→ 整条 assistant 标 `type='errAck'`,关联 tool 回执一并丢弃,发请求时由 user 错误提示替代(`llm.buildMessages`)—— 防止模型模仿自己的坏样本死循环。 -- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此把 system prompt 整体替换为 `server/templates/compress-prompt.txt`(`llm.compressPromptText`)且该回合不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。) +- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息、历史也不以 messages 重复发送**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此只发一条 system(`server/templates/compress-prompt.txt` 模板,`{{conversation}}` 占位符替换为 `llm.historyTranscript` 序列化的完整历史)+ 一句触发 user,且不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。) - **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON;发请求时还原为 OpenAI `image_url` 块,且**只保留最后一条 assistant 之后的图**(`lastAssistant` 判定)—— 之前的图剥 base64 改成"已省略"文字描述,省 token;DB 始终存全量供 UI 重渲染。 - **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。