优化压缩功能实现

This commit is contained in:
2026-09-07 10:07:28 +08:00
parent 9161a73e8b
commit d34c14c970
6 changed files with 69 additions and 28 deletions
+3 -3
View File
@@ -93,9 +93,9 @@ model_hold:
active_max_ms: 1800000 # 30 分钟
sweep_ms: 10000 # 10 秒
# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不再作为 user 消息插入会话,
# 而是把压缩回合的 system prompt 整体替换为固定模板,且该回合不传 tools。
# 默认提示词在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。
# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不作为 user 消息插入会话:
# 压缩回合只发一条 system(模板里 {{conversation}} 占位符自动替换为完整历史)+ 一句触发语,且该回合不传 tools。
# 提示词固定在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。
# 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。
# 登录页 /login,会话 token 以 HttpOnly cookie 下发(替代 nginx htpasswd:
+2 -2
View File
@@ -28,8 +28,8 @@ const DEFAULTS = {
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
// 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。
log_level: 'info',
// 上下文压缩提示词不再走配置:压缩回合直接整体替换 system prompt,
// 默认提示词固定在 server/templates/compress-prompt.txt(见 llm.compressPromptText)。
// 上下文压缩提示词不再走配置:压缩回合只发一条 system(固定模板,{{conversation}}
// 占位符替换为完整历史)+ 一句触发语,不传 tools;模板在 server/templates/compress-prompt.txt。
platforms: [],
// 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。
// users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。
+14 -9
View File
@@ -2,7 +2,7 @@
// 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。
const fs = require('fs');
const path = require('path');
const { buildMessages, callModel, encodeBlocks, compressPromptText } = require('./llm');
const { buildMessages, callModel, encodeBlocks, compressPromptText, historyTranscript } = require('./llm');
const { executeTool, resolveInTask } = require('./tools/executor');
const mcp = require('./mcp');
const log = require('./log');
@@ -433,10 +433,13 @@ async function runLoopInner(sessionId, run) {
session.history = loadHistoryForModel(sessionId);
for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id;
// 压缩回合(run.summaryMode 非空 = 由「压缩」按钮发起、尚未产出摘要):
// system prompt 整体替换为压缩提示词(templates/compress-prompt.txt),
// 且不随请求传 tools:模型拿得到完整历史,但只能输出总结文本,不会再调工具。
// 只发一条 system(压缩模板,{{conversation}} 占位符已填入完整历史纯文本)
// + 一句触发 user,历史不再以 messages 重复占 token;且不传 tools,模型只能输出摘要文本。
const compressing = !!run.summaryMode;
const messages = buildMessages(session, (cfg.agent || {}).language, compressing ? compressPromptText() : null);
const messages = compressing
? [{ role: 'system', content: compressPromptText(historyTranscript(session)) },
{ role: 'user', content: '请按以上要求输出「上下文摘要」。' }]
: buildMessages(session, (cfg.agent || {}).language);
// 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发)
const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions());
@@ -918,8 +921,9 @@ function deleteSession(sessionId, deleteDir) {
}
// 上下文压缩:phase-bar「压缩」按钮触发。不再往会话里插入指令消息:
// 压缩回合的 system prompt 直接整体替换为 templates/compress-prompt.txt(见 llm.compressPromptText),
// 且该回合不传 tools(见 runLoopInner 的 compressing 分支),模型基于完整历史输出总结。
// 压缩回合只发一条 system(templates/compress-prompt.txt 模板,{{conversation}} 占位符
// 替换为完整历史纯文本,见 llm.compressPromptText / historyTranscript)+ 一句触发语,
// 且不传 tools(见 runLoopInner 的 compressing 分支),模型直接基于该记录输出摘要。
// 识别标记 = run.summaryMode(仅在内存 run 上,不入库):runLoopInner 据此换 prompt/去 tools,
// 并在压缩回合的收尾答复 emit 时带 is_summary: true + mode,前端按用户选择的模式走完最后一步
//(compress_and_clear 时调 DELETE ?keep=summary 清空历史、仅留该摘要并标 type='summary')。
@@ -929,8 +933,9 @@ function deleteSession(sessionId, deleteDir) {
// 重启后需重新点「压缩」。
// 限制:与 clearSessionMessages 类似——会话执行中(active)禁止操作,避免和正在跑的回合抢上下文。
// mode: 'generate_only' 或 'compress_and_clear',由路由校验后传入。
// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」;
// 该气泡仅供展示,不入库也不发给模型(指令走 system prompt)。
// 响应回显 prompt:前端「开始压缩后渲染成一条普通用户消息气泡」;只回一句短提示,
// 不回完整模板(压缩指令的真实内容在压缩回合开跑时实时序列化进 system prompt,
// 与气泡无关,气泡仅供展示、不入库也不发给模型)。
function summarizeContext(sessionId, mode) {
const session = getSession(sessionId);
if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 });
@@ -938,7 +943,7 @@ function summarizeContext(sessionId, mode) {
if (run && run.looping) {
throw Object.assign(new Error('任务正在执行,请先「终止」再压缩'), { status_code: 409 });
}
const prompt = compressPromptText();
const prompt = '正在压缩上下文:AI 将基于完整对话记录生成摘要…';
// 与 postUserMessage 同样的唤醒/排队流转,但不落任何消息行;
// run.summaryMode 标记本回合为压缩回合,摘要产出后由 runLoopInner 清空。
// 状态流转时顺带重置 deepThink:压缩回合不需要思考参数,避免沿用上一轮的残留值。
+46 -10
View File
@@ -5,12 +5,50 @@ const path = require('path');
const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'system-prompt.txt'), 'utf8');
// 上下文压缩提示词:点「压缩」时不再往会话里插入指令消息,而是把压缩回合的
// system prompt 整体替换为这份提示词(见 engine.summarizeContext / runLoopInner),
// 且该回合不随请求发送 tools。需要调整压缩策略时直接改这个模板文件。
// 上下文压缩提示词(templates/compress-prompt.txt):点「压缩」时不插入指令消息,
// 压缩回合只发一条 system(本模板,{{conversation}} 占位符替换为完整历史纯文本,
// 见 compressPromptText / historyTranscript)+ 一句 user 触发语,且该回合不传 tools。
// 需要调整压缩策略时直接改这个模板文件(不写 {{conversation}} 则历史自动追加到末尾)。
const COMPRESS_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'compress-prompt.txt'), 'utf8');
function compressPromptText() {
return COMPRESS_PROMPT_TEMPLATE;
// 把即将压缩的会话历史序列化为「用户/AI 交互记录」纯文本,填入模板 {{conversation}} 处。
// 与 buildMessages 同取舍:archived 行不进记录(旧摘要之后的内容才算「本轮上下文」);
// __blocks__ 哨兵 JSON 还原为文字,图片以 [图片] 占位,base64 不进摘要记录。
function historyTranscript(session) {
const lines = [];
for (const row of (session && session.history) || []) {
if (row.type === 'archived') continue;
let content = row.content || '';
const blocks = decodeBlocks(content);
if (blocks) content = blocks.map(b => (b && b.type === 'text' ? b.text : '[图片]')).join('\n');
if (row.role === 'user') {
lines.push(row.name === 'session_context' ? '[环境信息]\n' + content : '[用户] ' + content);
} else if (row.role === 'assistant') {
const parts = [];
if (content) parts.push('[AI] ' + content);
let calls = null;
if (row.tool_calls) { try { calls = JSON.parse(row.tool_calls); } catch (_) {} }
for (const c of calls || []) {
const f = (c && c.function) || {};
parts.push('[AI 调用工具 ' + (f.name || '') + '] ' + (f.arguments || ''));
}
if (parts.length) lines.push(parts.join('\n'));
} else if (row.role === 'tool') {
lines.push('[工具 ' + (row.name || '') + ' 输出] ' + content);
}
}
return lines.join('\n\n');
}
// 填充压缩模板:替换全部 {{conversation}} 占位符;用函数形式传替换串,
// 避免历史文本里的 $&、$' 等序列被 String.replace 当作替换模式误解析。
// 模板里没写占位符时,把记录追加到末尾(保证任何改法的模板都能拿到历史)。
function compressPromptText(conversation) {
const rec = String(conversation == null ? '' : conversation);
if (COMPRESS_PROMPT_TEMPLATE.includes('{{conversation}}')) {
return COMPRESS_PROMPT_TEMPLATE.replaceAll('{{conversation}}', () => rec);
}
return COMPRESS_PROMPT_TEMPLATE + '\n\n## 对话记录\n' + rec;
}
// system prompt 完全静态:所有会话共用同一份内容,利于上游前缀缓存。
@@ -90,10 +128,8 @@ function cachedDecodeBlocks(session, row) {
// 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收);
// 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 ——
// 坏样本留在上下文里只会被模型继续模仿,反复报同一个错。
// systemPromptOverride:非空时用它整体替换首条 system 消息(压缩回合传入
// compressPromptText(),见 engine.runLoopInner);缺省走常规 system prompt。
function buildMessages(session, language, systemPromptOverride) {
const messages = [{ role: 'system', content: systemPromptOverride || systemPromptText(language) }];
function buildMessages(session, language) {
const messages = [{ role: 'system', content: systemPromptText(language) }];
const history = session.history;
// 行被删除后清理残留的图片解析缓存条目(只增不清会缓慢泄漏;条数不会超过现存行数)
if (session.blocksCache && session.blocksCache.size > history.length) {
@@ -335,4 +371,4 @@ async function callModel(cfg, modelId, messages, tools, options) {
return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames };
}
module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText };
module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText, historyTranscript };
+3 -3
View File
@@ -77,9 +77,9 @@ router.delete('/:id/messages', wrap((req, res) => {
// mode='generate_only' AI 总结;摘要之前的历史存档(type='archived',UI 保留展示、不再发给模型)
// mode='compress_and_clear' AI 总结;前端完成后另调 DELETE ?keep=summary 把存档行物理清空,界面只留摘要
// 摘要行本身两种模式都会标成 type='summary'(见 engine.runLoopInner),作为后续轮次的上下文起点。
// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合的 system prompt 整体替换为
// templates/compress-prompt.txt 且不传 tools(见 engine.summarizeContext);
// 响应回显 prompt 供前端直接渲染该指令气泡(仅展示,不入库),
// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合只发一条 system(模板 +
// 完整历史填入 {{conversation}})且不带 tools(见 engine.summarizeContext);
// 响应仅回显一句短提示 prompt 供前端渲染指令气泡(不入库、不含模板正文),
// 并在总结回合的最终 SSE assistant_message 上带 is_summary + mode 给前端走收尾。
// 状态非 active 时才允许(避免与正在跑的回合抢上下文)。本接口只是「丢一条总结请求进队列」,
// 不等待 AI 完成——前端通过现有 SSE 流听 assistant_message 事件拿结果。
+1 -1
View File
@@ -218,7 +218,7 @@ stateDiagram-v2
- `run.cancelled = true` 是停止的最终信号;远端子进程通过 `run.procs` 注册(local spawn 用 child、remote-exec 用 `remoteKill` 句柄),`killRunProcs` 按类型分别处理。
- `lastIncludedId` 跟踪本轮已纳入模型请求的最新消息 id;流式期间到达的新 user 消息靠它在下一轮迭代时自动带上。
- **errAck 机制**:工具参数结构性错误(JSON 非法/缺必填)→ 整条 assistant 标 `type='errAck'`,关联 tool 回执一并丢弃,发请求时由 user 错误提示替代(`llm.buildMessages`)—— 防止模型模仿自己的坏样本死循环。
- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此把 system prompt 整体替换为 `server/templates/compress-prompt.txt`(`llm.compressPromptText`)且该回合不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。)
- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息、历史也不以 messages 重复发送**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此只发一条 system(`server/templates/compress-prompt.txt` 模板,`{{conversation}}` 占位符替换为 `llm.historyTranscript` 序列化的完整历史)+ 一句触发 user,且不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。)
- **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON;发请求时还原为 OpenAI `image_url` 块,且**只保留最后一条 assistant 之后的图**(`lastAssistant` 判定)—— 之前的图剥 base64 改成"已省略"文字描述,省 token;DB 始终存全量供 UI 重渲染。
- **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。