From 9161a73e8bcedf4c90291b1ce8266a9f4f68ef65 Mon Sep 17 00:00:00 2001 From: kicer Date: Mon, 7 Sep 2026 09:52:10 +0800 Subject: [PATCH] =?UTF-8?q?=E5=8E=8B=E7=BC=A9=E6=8F=90=E7=A4=BA=E8=AF=8D?= =?UTF-8?q?=E6=9B=BF=E6=8D=A2system=20prompt?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/config.example.yml | 14 +-- app/server/config.js | 13 +-- app/server/engine.js | 115 ++++++++++++++--------- app/server/llm.js | 28 ++++-- app/server/public/index.html | 10 +- app/server/routes/messages.js | 4 +- app/server/templates/compress-prompt.txt | 38 ++++++++ app/server/templates/system-prompt.txt | 3 + docs/ARCHITECTURE.md | 8 +- 9 files changed, 149 insertions(+), 84 deletions(-) create mode 100644 app/server/templates/compress-prompt.txt diff --git a/app/config.example.yml b/app/config.example.yml index f3398d6..a323ce2 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -93,17 +93,9 @@ model_hold: active_max_ms: 1800000 # 30 分钟 sweep_ms: 10000 # 10 秒 -# 上下文压缩:顶栏「压缩」按钮触发时把这段 prompt 作为 user 消息发给 AI, -# 要求它回顾整段对话并生成结构化总结;收到回复后由前端弹窗询问是否物理清空历史, -# 仅保留这条总结作为后续对话的唯一上下文,省 token。可按需改写 prompt(中文/英文均可)。 -compress: - prompt: | - 请基于以上全部对话历史,生成一段结构化总结,作为之后继续对话的唯一上下文。要求: - 1) 提炼关键事实、决定、约束、待办; - 2) 保留用户的偏好与命名约定; - 3) 忽略寒暄与已完成的工具调用细节; - 4) 中文输出,简洁。 - 直接输出总结正文即可,不要加前言/标题/列表前缀。 +# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不再作为 user 消息插入会话, +# 而是把压缩回合的 system prompt 整体替换为固定模板,且该回合不传 tools。 +# 默认提示词在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。 # 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。 # 登录页 /login,会话 token 以 HttpOnly cookie 下发(替代 nginx htpasswd: diff --git a/app/server/config.js b/app/server/config.js index 90a68c6..4c08278 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -28,17 +28,8 @@ const DEFAULTS = { model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, // 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。 log_level: 'info', - // 上下文压缩:顶栏「压缩」按钮触发时把这段 prompt 作为 user 消息发给 AI, - // 要求它回顾整段对话并生成结构化总结;收到回复后由前端弹窗询问是否物理清空历史, - // 仅保留这条总结作为后续对话的唯一上下文,省 token。可按需改写 prompt(中文/英文均可)。 - compress: { - prompt: '请基于以上全部对话历史,生成一段结构化总结,作为之后继续对话的唯一上下文。要求:\n' + - '1) 提炼关键事实、决定、约束、待办;\n' + - '2) 保留用户的偏好与命名约定;\n' + - '3) 忽略寒暄与已完成的工具调用细节;\n' + - '4) 中文输出,简洁。\n' + - '直接输出总结正文即可,不要加前言/标题/列表前缀。', - }, + // 上下文压缩提示词不再走配置:压缩回合直接整体替换 system prompt, + // 默认提示词固定在 server/templates/compress-prompt.txt(见 llm.compressPromptText)。 platforms: [], // 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。 // users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。 diff --git a/app/server/engine.js b/app/server/engine.js index 4ab9e33..260226d 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -2,7 +2,7 @@ // 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。 const fs = require('fs'); const path = require('path'); -const { buildMessages, callModel, encodeBlocks } = require('./llm'); +const { buildMessages, callModel, encodeBlocks, compressPromptText } = require('./llm'); const { executeTool, resolveInTask } = require('./tools/executor'); const mcp = require('./mcp'); const log = require('./log'); @@ -78,7 +78,7 @@ function saveMessage(sessionId, msg) { 'INSERT INTO messages (session_id, role, content, reasoning, tool_calls, tool_call_id, name, type, is_error, created_at) VALUES (?,?,?,?,?,?,?,?,?,?)' ).run(sessionId, msg.role, msg.content || null, msg.reasoning || null, msg.tool_calls ? JSON.stringify(msg.tool_calls) : null, - msg.tool_call_id || null, msg.name || null, msg.type || null, msg.is_error ? 1 : 0, now()); + msg.tool_call_id || null, msg.name || null, msg.type || null, msg.is_error ? 1 : 0, msg.created_at || now()); // 关键动作日志:AI 每轮回复落库(含纯工具调用轮) if (msg.role === 'assistant') { const calls = msg.tool_calls || []; @@ -276,8 +276,11 @@ function dispatchQueued() { const session = getSession(head.session_id); if (!session || session.status !== 'queued') continue; // 上面已确认有空闲模型,pickModelFor 必能回退到 freeModel; - // 无待回应消息的会话(如新建后从未发言)只预留不占跑,绑成 held 等首条消息 - const pending = hasPendingUser(session.id); + // 无待回应消息的会话(如新建后从未发言)只预留不占跑,绑成 held 等首条消息。 + // 待开跑的压缩回合(内存 run.summaryMode,见 summarizeContext)也算待处理: + // 它没有对应的用户消息行,hasPendingUser 判不到,需单独纳入。 + const run0 = runs.get(session.id); + const pending = hasPendingUser(session.id) || !!(run0 && run0.summaryMode); bindModel(session, pickModelFor(session), pending ? 'active' : 'held'); emitStatus(session.id); if (pending) runLoop(session.id); @@ -429,9 +432,13 @@ async function runLoopInner(sessionId, run) { if (!session || session.status !== 'active' || !session.model_id) break; session.history = loadHistoryForModel(sessionId); for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id; - const messages = buildMessages(session, (cfg.agent || {}).language); - // 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型 - const tools = TOOL_DEFINITIONS.concat(mcp.toolDefinitions()); + // 压缩回合(run.summaryMode 非空 = 由「压缩」按钮发起、尚未产出摘要): + // system prompt 整体替换为压缩提示词(templates/compress-prompt.txt), + // 且不随请求传 tools:模型拿得到完整历史,但只能输出总结文本,不会再调工具。 + const compressing = !!run.summaryMode; + const messages = buildMessages(session, (cfg.agent || {}).language, compressing ? compressPromptText() : null); + // 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发) + const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions()); let result = null; let lastErr = null; @@ -449,8 +456,8 @@ async function runLoopInner(sessionId, run) { if (run.cancelled) break; if (!result) { const text = '⚠️ 模型调用失败:' + (lastErr && lastErr.message || '未知错误'); - saveMessage(sessionId, { role: 'assistant', content: text }); - bus.emit(sessionId, 'assistant_message', { content: text, error: true }); + const errId = saveMessage(sessionId, { role: 'assistant', content: text }); + bus.emit(sessionId, 'assistant_message', { id: errId, content: text, error: true, created_at: now() }); break; } @@ -487,25 +494,20 @@ async function runLoopInner(sessionId, run) { id: tc.id || ('call_' + Math.random().toString(36).slice(2, 10)), type: 'function', function: { name: tc.name, arguments: tc.arguments }, })) : null, + // 落库与 SSE 事件共用同一时间戳:前端流式收尾时直接拿来渲染时间行,重进会话后时刻不跳变 + created_at: now(), }; const assistantId = saveMessage(sessionId, msgRow); if (isErrAck) log.info('msg', sessionId + ' 本轮 tool call 参数错误,assistant 标记 errAck(不再进入模型上下文)'); recordModelUsage(sessionId, session.model_id, result.usage); - // 「压缩」按钮触发的总结请求:只把压缩回合的「最终答复」(无 tool_calls 的收尾回复)标为 - // is_summary;回合中间产生的 AI 回复(含工具调用轮)都是普通消息,前端照常渲染。 - // 判别 = 「紧邻的上一条 user 消息是 summarize_request」,而不是「历史上出现过 summarize_request」: - // generate_only 会保留历史、指令行留在库里,旧写法会把之后每一轮的 assistant 都误标成总结。 + // 「压缩」回合的总结判定:压缩时不传 tools,因此本回合第一条「无 tool_calls 的收尾回复」 + // 就是摘要(compressing 取自本回合的 run.summaryMode 标记);回合中间若有异常产生的 + // 工具轮(理论上不会)都是普通消息,前端照常渲染。 // 该标志传到前端后,前端按用户在弹窗选的模式走后续。mode 从发起请求时记录在 run 上的 summaryMode 取(不入库)。 - let isSummary = false; - if (!hasTools) { - const prevUser = db.prepare( - "SELECT type FROM messages WHERE session_id = ? AND role = 'user' AND id < ? ORDER BY id DESC LIMIT 1" - ).get(sessionId, assistantId); - isSummary = !!(prevUser && prevUser.type === 'summarize_request'); - } + const isSummary = !hasTools && compressing; bus.emit(sessionId, 'assistant_message', { id: assistantId, content: msgRow.content, reasoning: msgRow.reasoning, - tool_calls: msgRow.tool_calls, type: msgRow.type, + tool_calls: msgRow.tool_calls, type: msgRow.type, created_at: msgRow.created_at, is_summary: isSummary, mode: isSummary ? (run.summaryMode || null) : null, }); @@ -589,8 +591,8 @@ async function runLoopInner(sessionId, run) { } if (iter >= maxIter && !run.cancelled) { const text = '⚠️ 已达到最大工具迭代次数(' + maxIter + '),自动停止。可继续输入让我接着干。'; - saveMessage(sessionId, { role: 'assistant', content: text }); - bus.emit(sessionId, 'assistant_message', { content: text }); + const stopId = saveMessage(sessionId, { role: 'assistant', content: text }); + bus.emit(sessionId, 'assistant_message', { id: stopId, content: text, created_at: now() }); } } // 解析单条 SSE meta 行(按第一个 ':' 切 k,v 分发),构造回调供 streamAssistant 使用。 @@ -817,21 +819,17 @@ function createSession(title, preferModelId, assistantType, user) { function postUserMessage(sessionId, content, opts) { const session = getSession(sessionId); if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 }); - // opts.type: 落库时给该 user 消息带上 type 标记。 - // 用于「压缩」按钮触发时给总结指令打 type='summarize_request':该指令只在压缩回合内发给模型 - //(回合完成后 llm.buildMessages 不再携带,防旧指令污染后续轮次), - // 并让 runLoopInner 识别到后给对应的 assistant_message SSE 加 is_summary: true 标志。 - const messageId = saveMessage(sessionId, { role: 'user', content, type: (opts && opts.type) || null }); + const messageId = saveMessage(sessionId, { role: 'user', content }); if (!session.title) { touch(sessionId, { title: content.slice(0, 24) }); } // 预建/更新 run 记录,记下本轮的 deepThink(被 runLoop / callModel 读取) const run = getRun(sessionId, true); run.deepThink = !!(opts && opts.deepThink); - // opts.mode 仅用于「压缩」总结:runLoopInner 在 emit assistant_message 时带上 mode, - // 让前端在收到 AI 总结时知道该走 generate_only 还是 compress_and_clear 后续流程。 - // mode 不入库 messages.type(它是 session 级别上下文,不属于某条消息的属性)。 - run.summaryMode = (opts && opts.type === 'summarize_request') ? (opts.mode || null) : (run.summaryMode || null); + // 真实用户消息到达:若还有个「已排队但尚未开跑」的压缩回合(见 summarizeContext), + // 让它作废,避免新消息被误当成压缩回合处理;已在跑(looping)的不动, + // 由其收尾时自行清空 summaryMode。 + if (run.summaryMode && !run.looping) run.summaryMode = null; if (session.status === 'active' && run.looping) { // 正在跑:下一轮迭代会从 DB 重新加载历史,自动带上这条消息 return { message_id: messageId, delivered: 'live' }; @@ -919,18 +917,20 @@ function deleteSession(sessionId, deleteDir) { return { ok: true }; } -// 上下文压缩:phase-bar「压缩」按钮触发。把 config.yml 的 compress.prompt 作为一条 type='summarize_request' -// 的 user 消息发出去,AI 收到后会基于历史生成总结并以 assistant 消息回复。 -// llm.js 规则:type='summarize_request' 的指令只在压缩回合进行中发给模型(回合完成后跳过), -// 既保证 AI 拿得到总结指令,又不会在后续请求里反复污染上下文。 -// 由 runLoopInner 在压缩回合的最终答复(无 tool_calls 且紧邻上一条 user 是 summarize_request) -// emit 时带 is_summary: true,并带上 mode 给前端,前端按用户选择的模式走完最后一步 +// 上下文压缩:phase-bar「压缩」按钮触发。不再往会话里插入指令消息: +// 压缩回合的 system prompt 直接整体替换为 templates/compress-prompt.txt(见 llm.compressPromptText), +// 且该回合不传 tools(见 runLoopInner 的 compressing 分支),模型基于完整历史输出总结。 +// 识别标记 = run.summaryMode(仅在内存 run 上,不入库):runLoopInner 据此换 prompt/去 tools, +// 并在压缩回合的收尾答复 emit 时带 is_summary: true + mode,前端按用户选择的模式走完最后一步 //(compress_and_clear 时调 DELETE ?keep=summary 清空历史、仅留该摘要并标 type='summary')。 // 两种模式收尾都一样先落库:摘要行标 type='summary',它之前的全部消息标 type='archived' //(UI 保留展示、不再发给模型,后续对话从摘要开始);区别只在 compress_and_clear 额外物理删除。 +// 注意:排队等模型的压缩回合只记在内存 run 上,服务重启会丢(旧版靠库里的指令行存活); +// 重启后需重新点「压缩」。 // 限制:与 clearSessionMessages 类似——会话执行中(active)禁止操作,避免和正在跑的回合抢上下文。 // mode: 'generate_only' 或 'compress_and_clear',由路由校验后传入。 -// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」,无需再拉配置。 +// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」; +// 该气泡仅供展示,不入库也不发给模型(指令走 system prompt)。 function summarizeContext(sessionId, mode) { const session = getSession(sessionId); if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 }); @@ -938,12 +938,35 @@ function summarizeContext(sessionId, mode) { if (run && run.looping) { throw Object.assign(new Error('任务正在执行,请先「终止」再压缩'), { status_code: 409 }); } - const prompt = cfg && cfg.compress && cfg.compress.prompt; - if (!prompt) throw Object.assign(new Error('配置缺少 compress.prompt,请检查 config.yml'), { status_code: 500 }); - // 复用 postUserMessage:opts.type='summarize_request' 给该消息打标, - // opts.mode 用于 runLoopInner SSE 带 mode 返回给前端。 - const r = postUserMessage(sessionId, prompt, { type: 'summarize_request', mode }); - return Object.assign({ prompt }, r); + const prompt = compressPromptText(); + // 与 postUserMessage 同样的唤醒/排队流转,但不落任何消息行; + // run.summaryMode 标记本回合为压缩回合,摘要产出后由 runLoopInner 清空。 + // 状态流转时顺带重置 deepThink:压缩回合不需要思考参数,避免沿用上一轮的残留值。 + const r = getRun(sessionId, true); + r.summaryMode = mode || null; + r.deepThink = false; + let delivered; + if (session.status === 'held') { + // 保持租约期内:直接复用当前绑定的模型,无需排队 + touch(sessionId, { status: 'active', held_at: null }); + emitStatus(sessionId); + runLoop(sessionId); + delivered = 'live'; + } else if (session.status === 'active') { + // 上方已排除 looping;active 空闲时直接开跑 + runLoop(sessionId); + delivered = 'live'; + } else { + // 排队 / 已完成 / 已终止 → 重新入队;若派发后已立即拿到空闲模型,则算直接送达 + //(dispatchQueued 会把带 summaryMode 的排队会话当作有待处理回合开跑) + touch(sessionId, { status: 'queued', cancelled_at: null, completed_at: null, held_at: null }); + enqueue(sessionId); + dispatchQueued(); + const after = getSession(sessionId); + emitStatus(sessionId); + delivered = after && after.status === 'active' ? 'live' : 'queued'; + } + return { prompt, delivered }; } // 清空会话的对话内容:删除该会话的全部消息记录,但保留会话本身与任务目录文件。 @@ -973,7 +996,7 @@ function clearSessionMessages(sessionId, opts) { "SELECT id FROM messages WHERE session_id = ? AND role = 'assistant' ORDER BY id DESC LIMIT 1" ).get(sessionId) : null; if (lastSummary) { - // 保留总结行,其余(含 summarize_request 指令、中间工具轮)全部删除 + // 保留总结行,其余(含旧版遗留的 summarize_request 指令、中间工具轮)全部删除 db.prepare('DELETE FROM messages WHERE session_id = ? AND id != ?').run(sessionId, lastSummary.id); db.prepare("UPDATE messages SET type = 'summary' WHERE id = ?").run(lastSummary.id); } else { diff --git a/app/server/llm.js b/app/server/llm.js index 3c27c37..98b96b7 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -5,6 +5,14 @@ const path = require('path'); const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'system-prompt.txt'), 'utf8'); +// 上下文压缩提示词:点「压缩」时不再往会话里插入指令消息,而是把压缩回合的 +// system prompt 整体替换为这份提示词(见 engine.summarizeContext / runLoopInner), +// 且该回合不随请求发送 tools。需要调整压缩策略时直接改这个模板文件。 +const COMPRESS_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'compress-prompt.txt'), 'utf8'); +function compressPromptText() { + return COMPRESS_PROMPT_TEMPLATE; +} + // system prompt 完全静态:所有会话共用同一份内容,利于上游前缀缓存。 // 动态会话信息(日期/任务目录/模型显示名)不再拼入 system prompt, // 而是在新建会话时作为首条 user 消息发送,见 engine.js 的 sessionContextContent。 @@ -76,14 +84,16 @@ function cachedDecodeBlocks(session, row) { // - type='archived'(压缩时摘要之前的全部旧行,含旧摘要/指令/工具轮):不发模型。 // 这是「仅摘要」的核心语义:UI 照常保留展示,但后续对话从摘要开始,旧历史不再烧 token; // 「压缩总结」则另由前端 DELETE keep=summary 把存档行物理删除。 -// - type='summarize_request'(压缩指令):只在触发的那一压缩回合内发给模型(见下方判定), -// 回合完成后不再携带,防旧指令让 AI 误以为还要再总结。 +// - type='summarize_request'(旧版压缩指令,已废弃):新版压缩改为整体替换 system prompt +// (见 compressPromptText),不再产生这种消息行;此处分支仅为兼容旧库里残留的指令行。 // errAck 行(AI tool call 参数错误,见 engine.checkToolArgs):整条不发给模型, // 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收); // 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 —— // 坏样本留在上下文里只会被模型继续模仿,反复报同一个错。 -function buildMessages(session, language) { - const messages = [{ role: 'system', content: systemPromptText(language) }]; +// systemPromptOverride:非空时用它整体替换首条 system 消息(压缩回合传入 +// compressPromptText(),见 engine.runLoopInner);缺省走常规 system prompt。 +function buildMessages(session, language, systemPromptOverride) { + const messages = [{ role: 'system', content: systemPromptOverride || systemPromptText(language) }]; const history = session.history; // 行被删除后清理残留的图片解析缓存条目(只增不清会缓慢泄漏;条数不会超过现存行数) if (session.blocksCache && session.blocksCache.size > history.length) { @@ -99,9 +109,9 @@ function buildMessages(session, language) { if (history[i].role === 'assistant' && history[i].type !== 'errAck' && history[i].type !== 'archived') { lastAssistant = i; break; } } const dropToolCallIds = new Set(); - // summarize_request 「已答复」判定的前置信息:最后一次「回合收尾回复」(无 tool_calls 的 assistant)的位置。 - // 指令行在其之后 = 还在等 AI 响应这条指令(当前压缩回合),应发给模型;在其之前 = 旧指令,跳过防污染。 - // errAck 带 tool_calls 不在此列;历史里残留的旧指令(如 generate_only)后面必然跟着摘要收尾行,自然被跳过。 + // 旧版 summarize_request 「已答复」判定的前置信息:最后一次「回合收尾回复」(无 tool_calls 的 assistant)的位置。 + // 指令行在其之后 = 还在等 AI 响应这条指令(旧版压缩回合未收尾),应发给模型;在其之前 = 旧指令,跳过防污染。 + // 新版压缩不再产生这种行(改为替换 system prompt),此处仅处理旧库升级后的残留数据。 let lastClosingAssistant = -1; history.forEach((row, i) => { if (row.role === 'assistant' && !row.tool_calls) lastClosingAssistant = i; @@ -109,7 +119,7 @@ function buildMessages(session, language) { history.forEach((row, i) => { // archived:UI 可见,但不进入模型上下文(节省 token) if (row.type === 'archived') return; - // summarize_request:仅在触发的那一压缩回合内发给模型(见函数头注释) + // summarize_request(旧版遗留行):仅在未收尾的旧压缩回合内发给模型,其余一律跳过 if (row.type === 'summarize_request') { if (i > lastClosingAssistant && (row.content || '').trim()) { messages.push({ role: 'user', content: row.content }); @@ -325,4 +335,4 @@ async function callModel(cfg, modelId, messages, tools, options) { return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames }; } -module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks }; +module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText }; diff --git a/app/server/public/index.html b/app/server/public/index.html index ec6b9a4..bc733f2 100644 --- a/app/server/public/index.html +++ b/app/server/public/index.html @@ -1147,7 +1147,8 @@ // (UI 保留全部展示,但旧消息不再发给模型);前端把摘要前旧消息就地淡出存档。 // 压缩总结(compress_and_clear):同上,另由前端自动调 DELETE ?keep=summary 物理清空, // 聊天里只留摘要卡片(不可恢复)。 - // 开始压缩后:后端响应回显 prompt,前端把它直接渲染成一条普通用户消息气泡; + // 开始压缩后:后端响应回显 prompt,前端把它渲染成一条普通用户消息气泡(仅展示: + // 指令不再入库、也不发给模型,压缩回合的 system prompt 已整体替换为压缩提示词); // 压缩回合中间的 AI 回复(思考/工具调用等)全部按普通消息渲染; // 只有回合收尾的那条最终答复才带 is_summary,渲染成摘要卡片。 // 后端 summarize 路由收 body.mode;runLoopInner 在最终 assistant_message SSE 上带 is_summary + mode。 @@ -1428,7 +1429,7 @@ bubble.innerHTML = r.html; state.streamWrap.appendChild(bubble); } - // 「压缩」总结回合的最终答复(后端已保证只有收尾无工具调用且紧邻 summarize_request 的那条才带 is_summary, + // 「压缩」总结回合的最终答复(后端已保证只有压缩回合里首条无工具调用的收尾回复才带 is_summary, // 中间 AI 回复已按普通消息渲染):把已流式输出的气泡装进摘要卡片(与历史重渲染同款样式), // 并标记 wrap 为 msg-summary-live:compress_and_clear 清空历史时保留该节点,不再重新渲染摘要。 // open=true 让用户立刻读到;后续轮次不自动折起(卡片可手动点 summary 收起)。 @@ -1446,6 +1447,11 @@ wrap0.insertBefore(det, ref); wrap0.classList.add('msg-summary-live'); } + // 补上尾部操作行(时间戳+复制/删除),与历史重渲染(aiMsgHtml)同款; + // created_at 由后端落库时间随事件回传,重进会话后时刻不变 + if (state.streamWrap) { + state.streamWrap.insertAdjacentHTML('beforeend', actionsHtml(d.created_at, d.content || '', d.id)); + } if (d.tool_calls) appendToolCardsFromAssistant(d, $('chat-view')); state.streaming = false; // 思考面板本轮结束兜底折叠(正常已在首个正文 delta 时折过,这里是 no-op); diff --git a/app/server/routes/messages.js b/app/server/routes/messages.js index 5f8f902..908ae7f 100644 --- a/app/server/routes/messages.js +++ b/app/server/routes/messages.js @@ -77,7 +77,9 @@ router.delete('/:id/messages', wrap((req, res) => { // mode='generate_only' AI 总结;摘要之前的历史存档(type='archived',UI 保留展示、不再发给模型) // mode='compress_and_clear' AI 总结;前端完成后另调 DELETE ?keep=summary 把存档行物理清空,界面只留摘要 // 摘要行本身两种模式都会标成 type='summary'(见 engine.runLoopInner),作为后续轮次的上下文起点。 -// 后端负责「丢一条 type='summarize_request' 的 user 消息」(响应回显 prompt 供前端直接渲染该指令气泡), +// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合的 system prompt 整体替换为 +// templates/compress-prompt.txt 且不传 tools(见 engine.summarizeContext); +// 响应回显 prompt 供前端直接渲染该指令气泡(仅展示,不入库), // 并在总结回合的最终 SSE assistant_message 上带 is_summary + mode 给前端走收尾。 // 状态非 active 时才允许(避免与正在跑的回合抢上下文)。本接口只是「丢一条总结请求进队列」, // 不等待 AI 完成——前端通过现有 SSE 流听 assistant_message 事件拿结果。 diff --git a/app/server/templates/compress-prompt.txt b/app/server/templates/compress-prompt.txt new file mode 100644 index 0000000..17ae388 --- /dev/null +++ b/app/server/templates/compress-prompt.txt @@ -0,0 +1,38 @@ +你是一个对话上下文压缩器。下面提供一段用户与 AI 的完整交互记录, +请将它压缩成一份「上下文摘要」——它将作为此后所有新对话的开头注入, +AI 只能通过这份摘要了解之前发生过什么。目标是让 AI 读完摘要后能 +无缝接续工作,就像它一直记得这些对话一样。 + +## 必须保留(按优先级) +1. 用户的核心目标与需求,以及过程中的变更和修正(以最终版本为准) +2. 关键决策与共识:采用的方案、技术选型、风格偏好、命名约定 +3. 硬性信息:文件路径、项目名、接口/字段名、命令、数字参数等,必须原样保留,不得改写或翻译 +4. 当前进度:已完成什么、正在做什么、下一步是什么 +5. 未解决的问题、悬而未决的疑问 +6. 重要的失败尝试及原因(防止后续重蹈覆辙) +7. 用户的明显偏好(语言、详略程度、称呼、输出格式等) +8. 若最后一条用户消息是正在进行的任务,其最新要求应尽量保留;如是明确指令,可在【待办/未决问题】中以引号原样引用,并标注“用户原话:” + +## 可以舍弃 +- 对话原话、寒暄、重复确认 +- 中间推导过程(只保留结论) +- 已被否决方案的细节(只留一句“曾尝试 X,因 Y 放弃”) + +## 输出要求 +1. 用第三人称陈述式书写,禁止写成对话体;但用户最新明确指令可在【待办/未决问题】中用引号原样引用,并加“用户原话:”前缀 +2. 按以下结构输出: + 【任务背景】 + 【关键约定与偏好】 + 【重要实体】(文件/项目/名称/数据,原样罗列;若超过 20 个,仅列最关键者并注明“其余略”) + 【已完成】 + 【待办/未决问题】(若为用户原话指令,加“用户原话:”前缀) + 【注意事项】 +3. 信息不足时如实标注“不确定”,禁止编造;涉及角色归属时标注“用户/AI/共识” +4. 在保证所有“必须保留”项完整的前提下尽量压缩;目标长度为原文的10%左右,通常不超过1000字。 + 若必须保留的信息本身较多,可适度超出,但需在【注意事项】中说明“因信息密度高,摘要略长”。 + 若因长度限制必须省略部分内容,按优先级从低到高舍弃,并在【注意事项】中说明省略了什么及原因。 +5. 摘要末尾可附一行“置信度:明确事实/推测”的简注,不计入正文 +6. 只输出摘要本身,不要任何解释、开场白或结尾 + +对话记录如下: +{{conversation}} diff --git a/app/server/templates/system-prompt.txt b/app/server/templates/system-prompt.txt index 1f0e924..1376ac2 100644 --- a/app/server/templates/system-prompt.txt +++ b/app/server/templates/system-prompt.txt @@ -79,6 +79,9 @@ You are a file / data / information processing assistant. The environment expose **Preinstalled system tools:** `ca-certificates, curl, git, python3, pip3, ripgrep, procps, unzip, wget, jq, zip, tree, file, build-essential, 7z, unar, poppler-utils (pdftotext, pdfimages, etc.), qpdf, ghostscript, imagemagick, tesseract-ocr (with chi-sim), ffmpeg, sqlite3, libreoffice` +**Chinese font support:** +Noto CJK fonts are installed (SC/TC/JP/KR). For matplotlib, set `font.sans-serif` to `Noto Sans CJK SC` to render Chinese. LibreOffice and Tesseract (`chi_sim`) already support Chinese. + **Preinstalled Python packages:** `requests, beautifulsoup4, lxml, pandas, numpy, openpyxl, python-docx, python-pptx, xlrd, reportlab, matplotlib (use Agg backend for headless), Pillow, pypdf, pymupdf, pdfplumber, python-dateutil, python-magic, loguru, rich` diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index d7d3f3b..7bc01f4 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -147,8 +147,8 @@ messages id PK / session_id FK / role (system|user|assistant|tool) / content (TEXT, 含 __blocks__ 哨兵 JSON 多模态) / reasoning / tool_calls (JSON) / tool_call_id / name / type / is_error / created_at - # type 取值: summary / archived / errAck / summarize_request / - # session_context (name 列 = SESSION_CONTEXT_NAME) + # type 取值: summary / archived / errAck / session_context (name 列 = SESSION_CONTEXT_NAME) + # 旧版遗留: summarize_request(压缩指令 user 消息,已废弃,仅 buildMessages 兼容旧库) files id PK / session_id / filename / size / created_at # 仅记录元数据;文件本体在 workspace 目录里 @@ -218,7 +218,7 @@ stateDiagram-v2 - `run.cancelled = true` 是停止的最终信号;远端子进程通过 `run.procs` 注册(local spawn 用 child、remote-exec 用 `remoteKill` 句柄),`killRunProcs` 按类型分别处理。 - `lastIncludedId` 跟踪本轮已纳入模型请求的最新消息 id;流式期间到达的新 user 消息靠它在下一轮迭代时自动带上。 - **errAck 机制**:工具参数结构性错误(JSON 非法/缺必填)→ 整条 assistant 标 `type='errAck'`,关联 tool 回执一并丢弃,发请求时由 user 错误提示替代(`llm.buildMessages`)—— 防止模型模仿自己的坏样本死循环。 -- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。`summarize_request` 指令只在当前压缩回合内发模型(`llm.buildMessages` 通过 `lastClosingAssistant` 判定)。 +- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此把 system prompt 整体替换为 `server/templates/compress-prompt.txt`(`llm.compressPromptText`)且该回合不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。) - **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON;发请求时还原为 OpenAI `image_url` 块,且**只保留最后一条 assistant 之后的图**(`lastAssistant` 判定)—— 之前的图剥 base64 改成"已省略"文字描述,省 token;DB 始终存全量供 UI 重渲染。 - **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。 @@ -421,7 +421,7 @@ stateDiagram-v2 - `terminal.max_output_chars`(默认 10000)—— AI 看到的命令输出上限;executor 侧另有 `EXECUTOR_MAX_OUTPUT_CHARS=200000` 兜底。 - `skills.skills_root` —— 缺省取 `workspace_root` 的同级 `skills/`。 - `model_hold` —— 保持租约;详情见 §5.1。 -- `compress.prompt` —— 上下文压缩时给 AI 的指令(可改中文/英文/其他语言)。 +- 上下文压缩 —— 无配置项:压缩回合的 system prompt 整体替换为固定模板 `server/templates/compress-prompt.txt`,该回合不传 tools;调整压缩策略直接改该文件。 - `auth.users` —— 明文密码配在配置里(自用场景);`secret` 留空则随机生成(重启掉登录态,建议固定随机串)。 - `mcp_servers[].enable: false` —— 启动不加载该服务(配置保留),其余工具不受影响。 - `executor.url` / `executor.token` —— 留空走环境变量 `EXECUTOR_URL` / `EXECUTOR_TOKEN`(compose 默认注入)。