diff --git a/app/config.example.yml b/app/config.example.yml index 6245549..f3ac252 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -106,7 +106,7 @@ model_hold: sweep_ms: 10000 # 10 秒 # 上下文压缩:顶栏「压缩」按钮触发。压缩指令不作为 user 消息插入会话: -# 压缩回合只发一条 system(模板里 {{conversation}} 占位符自动替换为完整历史)+ 一句触发语,且该回合不传 tools。 +# 压缩回合沿用默认 system prompt + 正常历史,末尾追加一条 user(提示词原文),且该回合不传 tools。 # 提示词固定在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。 # 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。 diff --git a/app/server/config.js b/app/server/config.js index 90cef60..4d1a528 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -45,8 +45,8 @@ const DEFAULTS = { model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, // 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。 log_level: 'info', - // 上下文压缩提示词不再走配置:压缩回合只发一条 system(固定模板,{{conversation}} - // 占位符替换为完整历史)+ 一句触发语,不传 tools;模板在 server/templates/compress-prompt.txt。 + // 上下文压缩提示词不再走配置:压缩回合沿用默认 system prompt + 正常历史, + // 末尾追加一条 user(提示词原文),不传 tools;模板在 server/templates/compress-prompt.txt。 platforms: [], // 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。 // users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。 diff --git a/app/server/engine.js b/app/server/engine.js index 9787e47..42ff29d 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -2,7 +2,7 @@ // 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。 const fs = require('fs'); const path = require('path'); -const { buildMessages, callModel, encodeBlocks, compressPromptText, historyTranscript, titleMessages } = require('./llm'); +const { buildMessages, callModel, encodeBlocks, compressMessages, titleMessages } = require('./llm'); const { executeTool, resolveInTask } = require('./tools/executor'); const mcp = require('./mcp'); const log = require('./log'); @@ -511,12 +511,11 @@ async function runLoopInner(sessionId, run) { session.history = loadHistory(sessionId); for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id; // 压缩回合(run.summarizing = 由「压缩」按钮发起、尚未产出摘要): - // 只发一条 system(压缩模板,{{conversation}} 占位符已填入完整历史纯文本) - // + 一句触发 user,历史不再以 messages 重复占 token;且不传 tools,模型只能输出摘要文本。 + // 沿用默认 system prompt + 正常历史,末尾追加一条压缩指令 user(见 llm.compressMessages); + // 且不传 tools,模型只能输出摘要文本。 const compressing = !!run.summarizing; const messages = compressing - ? [{ role: 'system', content: compressPromptText(historyTranscript(session)) }, - { role: 'user', content: '请按以上要求输出「上下文摘要」。' }] + ? compressMessages(session, (cfg.agent || {}).language) : buildMessages(session, (cfg.agent || {}).language); // 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发) const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions()); @@ -955,9 +954,9 @@ function deleteSession(sessionId, deleteDir) { } // 上下文压缩:phase-bar「压缩」按钮触发。不再往会话里插入指令消息: -// 压缩回合只发一条 system(templates/compress-prompt.txt 模板,{{conversation}} 占位符 -// 替换为完整历史纯文本,见 llm.compressPromptText / historyTranscript)+ 一句触发语, -// 且不传 tools(见 runLoopInner 的 compressing 分支),模型直接基于该记录输出摘要。 +// 压缩回合沿用默认 system prompt + 正常历史消息,末尾追加一条 user +//(templates/compress-prompt.txt 原文,见 llm.compressMessages),且不传 tools +//(见 runLoopInner 的 compressing 分支),模型直接基于历史输出摘要。 // 识别标记 = run.summarizing(仅在内存 run 上,不入库):runLoopInner 据此换 prompt/去 tools, // 并在压缩回合的收尾答复 emit 时带 is_summary: true,前端据此把气泡装进摘要卡片并淡出存档旧历史。 // 收尾落库:摘要行标 type='summary',它之前的全部消息标 type='archived' diff --git a/app/server/llm.js b/app/server/llm.js index 42e130a..32a05cc 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -5,59 +5,19 @@ const path = require('path'); const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'system-prompt.txt'), 'utf8'); -// 上下文压缩提示词(templates/compress-prompt.txt):点「压缩」时不插入指令消息, -// 压缩回合只发一条 system(本模板,{{conversation}} 占位符替换为完整历史纯文本, -// 见 compressPromptText / historyTranscript)+ 一句 user 触发语,且该回合不传 tools。 -// 需要调整压缩策略时直接改这个模板文件(不写 {{conversation}} 则历史自动追加到末尾)。 +// 上下文压缩提示词(templates/compress-prompt.txt):点「压缩」时不插入指令消息。 +// 压缩回合(见 compressMessages)沿用默认 system prompt + 正常历史消息, +// 末尾追加一条 user(本模板原文,参考 titleMessages 的拼法),且该回合不传 tools。 +// 需要调整压缩策略时直接改这个模板文件。 const COMPRESS_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'compress-prompt.txt'), 'utf8'); -// 把即将压缩的会话历史序列化为「用户/AI 交互记录」纯文本,填入模板 {{conversation}} 处。 -// 与 buildMessages 同取舍:archived 行不进记录(旧摘要之后的内容才算「本轮上下文」); -// __blocks__ 哨兵 JSON 还原为文字,图片以 [图片] 占位,base64 不进摘要记录。 -function historyTranscript(session) { - const lines = []; - for (const row of (session && session.history) || []) { - if (row.type === 'archived') continue; - let content = row.content || ''; - const blocks = decodeBlocks(content); - if (blocks) content = blocks.map(b => (b && b.type === 'text' ? b.text : '[图片]')).join('\n'); - if (row.role === 'user') { - lines.push('[用户] ' + content); - } else if (row.role === 'assistant') { - const parts = []; - if (content) parts.push('[AI] ' + content); - let calls = null; - if (row.tool_calls) { try { calls = JSON.parse(row.tool_calls); } catch (_) {} } - for (const c of calls || []) { - const f = (c && c.function) || {}; - parts.push('[AI 调用工具 ' + (f.name || '') + '] ' + (f.arguments || '')); - } - if (parts.length) lines.push(parts.join('\n')); - } else if (row.role === 'tool') { - lines.push('[工具 ' + (row.name || '') + ' 输出] ' + content); - } - } - return lines.join('\n\n'); -} - -// 填充压缩模板:替换全部 {{conversation}} 占位符;用函数形式传替换串, -// 避免历史文本里的 $&、$' 等序列被 String.replace 当作替换模式误解析。 -// 模板里没写占位符时,把记录追加到末尾(保证任何改法的模板都能拿到历史)。 -function compressPromptText(conversation) { - const rec = String(conversation == null ? '' : conversation); - if (COMPRESS_PROMPT_TEMPLATE.includes('{{conversation}}')) { - return COMPRESS_PROMPT_TEMPLATE.replaceAll('{{conversation}}', () => rec); - } - return COMPRESS_PROMPT_TEMPLATE + '\n\n## 对话记录\n' + rec; -} - // 自动生成会话标题提示词(templates/title-prompt.txt):会话建立后第 1 次交互完成时触发。 // 与压缩回合不同,这里**不带 system prompt**:直接复用历史里的 user/assistant 文本消息, // 末尾追加一条 user(本模板,{{language}} 占位符替换为配置语言),见 titleMessages。 const TITLE_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'title-prompt.txt'), 'utf8'); // 拼标题回合的 messages:历史原样(只留 user/assistant 纯文本行)+ 末尾一条标题指令 user。 -// 与 historyTranscript 同取舍:archived 行不进;__blocks__ 哨兵 JSON 还原为文字,图片以 [图片] 占位; +// 与 buildMessages 同取舍:archived 行不进;__blocks__ 哨兵 JSON 还原为文字,图片以 [图片] 占位; // 含 tool_calls 的 assistant 行无文本内容则跳过,tool 回执行整体跳过(只要对话主干)。 function titleMessages(history, language) { const messages = []; @@ -143,8 +103,8 @@ function cachedDecodeBlocks(session, row) { // 正常以 assistant 历史行发给模型;压缩收尾时打此标。 // - type='archived'(压缩时摘要之前的全部旧行,含旧摘要/指令/工具轮):不发模型。 // 即压缩的核心语义:UI 照常保留展示,但后续对话从摘要开始,旧历史不再烧 token。 -// - type='summarize_request'(旧版压缩指令,已废弃):新版压缩改为整体替换 system prompt -// (见 compressPromptText),不再产生这种消息行;此处分支仅为兼容旧库里残留的指令行。 +// - type='summarize_request'(旧版压缩指令,已废弃):新版压缩不再产生这种消息行 +// (压缩回合见 compressMessages),此处分支仅为兼容旧库里残留的指令行。 // errAck 行(AI tool call 参数错误,见 engine.checkToolArgs):整条不发给模型, // 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收); // 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 —— @@ -231,6 +191,16 @@ function buildMessages(session, language) { return messages; } +// 拼压缩回合的 messages(参考 titleMessages 的拼法):默认 system prompt + 正常历史 +//(与 buildMessages 同取舍:archived 不发、旧摘要/工具轮照常),末尾追加一条 user +//(compress-prompt.txt 原文,历史就在它前面的 messages 里,不再填占位符)。 +// 调用方(engine.runLoopInner 的 compressing 分支)需同时不传 tools。 +function compressMessages(session, language) { + const messages = buildMessages(session, language); + messages.push({ role: 'user', content: COMPRESS_PROMPT_TEMPLATE }); + return messages; +} + // 解析 SSE 行流,对每个 data: JSON 调用 onEvent。 // 可选回调:onMeta(line) 逐行接收非 data 字段(event:/id:/retry:/注释/未知字段), // onBadData(raw) 在 data 行 JSON.parse 失败时被调用(原始字符串)。 @@ -482,4 +452,4 @@ async function callModel(cfg, modelId, messages, tools, options) { return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames }; } -module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText, historyTranscript, titleMessages }; +module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressMessages, titleMessages }; diff --git a/app/server/routes/messages.js b/app/server/routes/messages.js index 27eea90..1b1ba1c 100644 --- a/app/server/routes/messages.js +++ b/app/server/routes/messages.js @@ -50,8 +50,8 @@ router.delete('/:id/messages', wrap((req, res) => { // 上下文压缩:phase-bar「压缩」按钮弹窗里点「摘要」触发。 // AI 总结;摘要之前的历史存档(type='archived',UI 保留展示、不再发给模型)。 // 摘要行本身标成 type='summary'(见 engine.runLoopInner),作为后续轮次的上下文起点。 -// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合只发一条 system(模板 + -// 完整历史填入 {{conversation}})且不带 tools(见 engine.summarizeContext); +// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合沿用默认 system prompt + +// 正常历史,末尾追加一条压缩指令 user,且不带 tools(见 engine.summarizeContext); // 响应仅回显一句短提示 prompt 供前端渲染指令气泡(不入库、不含模板正文), // 并在总结回合的最终 SSE assistant_message 上带 is_summary 给前端走收尾。 // 状态非 active 时才允许(避免与正在跑的回合抢上下文)。本接口只是「丢一条总结请求进队列」, diff --git a/app/server/templates/compress-prompt.txt b/app/server/templates/compress-prompt.txt index 17ae388..6c8379c 100644 --- a/app/server/templates/compress-prompt.txt +++ b/app/server/templates/compress-prompt.txt @@ -1,38 +1,12 @@ -你是一个对话上下文压缩器。下面提供一段用户与 AI 的完整交互记录, -请将它压缩成一份「上下文摘要」——它将作为此后所有新对话的开头注入, -AI 只能通过这份摘要了解之前发生过什么。目标是让 AI 读完摘要后能 -无缝接续工作,就像它一直记得这些对话一样。 +You are compacting this conversation into a handoff for another agent that will resume the work. You have no ability to use tools or to read or write any aspect of the user's system other than the context the user provides. -## 必须保留(按优先级) -1. 用户的核心目标与需求,以及过程中的变更和修正(以最终版本为准) -2. 关键决策与共识:采用的方案、技术选型、风格偏好、命名约定 -3. 硬性信息:文件路径、项目名、接口/字段名、命令、数字参数等,必须原样保留,不得改写或翻译 -4. 当前进度:已完成什么、正在做什么、下一步是什么 -5. 未解决的问题、悬而未决的疑问 -6. 重要的失败尝试及原因(防止后续重蹈覆辙) -7. 用户的明显偏好(语言、详略程度、称呼、输出格式等) -8. 若最后一条用户消息是正在进行的任务,其最新要求应尽量保留;如是明确指令,可在【待办/未决问题】中以引号原样引用,并标注“用户原话:” +Include: +- Goal: what the user is ultimately trying to achieve +- State: progress so far, current blockers, and decisions made +- Context: constraints, preferences, and critical data/examples/references needed to continue +- Next: the specific steps that remain +- Pitfalls: anything tried that didn't work -## 可以舍弃 -- 对话原话、寒暄、重复确认 -- 中间推导过程(只保留结论) -- 已被否决方案的细节(只留一句“曾尝试 X,因 Y 放弃”) +Write it so the next agent can act without re-asking the user. Be concise and well-structured. -## 输出要求 -1. 用第三人称陈述式书写,禁止写成对话体;但用户最新明确指令可在【待办/未决问题】中用引号原样引用,并加“用户原话:”前缀 -2. 按以下结构输出: - 【任务背景】 - 【关键约定与偏好】 - 【重要实体】(文件/项目/名称/数据,原样罗列;若超过 20 个,仅列最关键者并注明“其余略”) - 【已完成】 - 【待办/未决问题】(若为用户原话指令,加“用户原话:”前缀) - 【注意事项】 -3. 信息不足时如实标注“不确定”,禁止编造;涉及角色归属时标注“用户/AI/共识” -4. 在保证所有“必须保留”项完整的前提下尽量压缩;目标长度为原文的10%左右,通常不超过1000字。 - 若必须保留的信息本身较多,可适度超出,但需在【注意事项】中说明“因信息密度高,摘要略长”。 - 若因长度限制必须省略部分内容,按优先级从低到高舍弃,并在【注意事项】中说明省略了什么及原因。 -5. 摘要末尾可附一行“置信度:明确事实/推测”的简注,不计入正文 -6. 只输出摘要本身,不要任何解释、开场白或结尾 - -对话记录如下: -{{conversation}} +Only output the handoff summary itself, without any preamble or explanation. diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index eddf016..b282ba5 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -58,7 +58,7 @@ agent/ │ │ │ └── system.js /api/system/status + /restart 优雅重启 │ │ ├── templates/ │ │ │ ├── system-prompt.txt system prompt 静态模板(每次请求复用,利于上游前缀缓存) -│ │ │ ├── compress-prompt.txt 上下文压缩提示词({{conversation}} 占位符填完整历史) +│ │ │ ├── compress-prompt.txt 上下文压缩提示词(压缩回合末尾追加为 user 消息,历史照常走 messages) │ │ │ └── title-prompt.txt 会话标题自动生成提示词(首次交互结束后触发,{{language}} 填配置语言) │ │ └── public/ 前端 H5 SPA(无构建,Vanilla JS 经典脚本多文件 + SSE) │ │ ├── index.html 主页(HTML+样式;脚本全部在 js/,按序加载共享全局作用域) @@ -247,7 +247,7 @@ stateDiagram-v2 - `run.cancelled = true` 是停止的最终信号;远端子进程通过 `run.procs` 注册(local spawn 用 child、remote-exec 用 `remoteKill` 句柄),`killRunProcs` 按类型分别处理。 - `lastIncludedId` 跟踪本轮已纳入模型请求的最新消息 id;流式期间到达的新 user 消息靠它在下一轮迭代时自动带上。 - **errAck 机制**:工具参数结构性错误(JSON 非法/缺必填)→ 整条 assistant 标 `type='errAck'`,关联 tool 回执一并丢弃,发请求时由 user 错误提示替代(`llm.buildMessages`)—— 防止模型模仿自己的坏样本死循环。 -- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息、历史也不以 messages 重复发送**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此只发一条 system(`server/templates/compress-prompt.txt` 模板,`{{conversation}}` 占位符替换为 `llm.historyTranscript` 序列化的完整历史)+ 一句触发 user,且不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。) +- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summarizing`,`runLoopInner` 据此走 `llm.compressMessages`:沿用默认 system prompt + 正常历史 messages,末尾追加一条 user(`server/templates/compress-prompt.txt` 原文,参考标题回合的拼法),且不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。) - **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON;发请求时还原为 OpenAI `image_url` 块,且**只保留最后一条 assistant 之后的图**(`lastAssistant` 判定)—— 之前的图剥 base64 改成"已省略"文字描述,省 token;DB 始终存全量供 UI 重渲染。 - **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。