压缩提示词替换system prompt
This commit is contained in:
+3
-11
@@ -93,17 +93,9 @@ model_hold:
|
||||
active_max_ms: 1800000 # 30 分钟
|
||||
sweep_ms: 10000 # 10 秒
|
||||
|
||||
# 上下文压缩:顶栏「压缩」按钮触发时把这段 prompt 作为 user 消息发给 AI,
|
||||
# 要求它回顾整段对话并生成结构化总结;收到回复后由前端弹窗询问是否物理清空历史,
|
||||
# 仅保留这条总结作为后续对话的唯一上下文,省 token。可按需改写 prompt(中文/英文均可)。
|
||||
compress:
|
||||
prompt: |
|
||||
请基于以上全部对话历史,生成一段结构化总结,作为之后继续对话的唯一上下文。要求:
|
||||
1) 提炼关键事实、决定、约束、待办;
|
||||
2) 保留用户的偏好与命名约定;
|
||||
3) 忽略寒暄与已完成的工具调用细节;
|
||||
4) 中文输出,简洁。
|
||||
直接输出总结正文即可,不要加前言/标题/列表前缀。
|
||||
# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不再作为 user 消息插入会话,
|
||||
# 而是把压缩回合的 system prompt 整体替换为固定模板,且该回合不传 tools。
|
||||
# 默认提示词在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。
|
||||
|
||||
# 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。
|
||||
# 登录页 /login,会话 token 以 HttpOnly cookie 下发(替代 nginx htpasswd:
|
||||
|
||||
+2
-11
@@ -28,17 +28,8 @@ const DEFAULTS = {
|
||||
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
|
||||
// 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。
|
||||
log_level: 'info',
|
||||
// 上下文压缩:顶栏「压缩」按钮触发时把这段 prompt 作为 user 消息发给 AI,
|
||||
// 要求它回顾整段对话并生成结构化总结;收到回复后由前端弹窗询问是否物理清空历史,
|
||||
// 仅保留这条总结作为后续对话的唯一上下文,省 token。可按需改写 prompt(中文/英文均可)。
|
||||
compress: {
|
||||
prompt: '请基于以上全部对话历史,生成一段结构化总结,作为之后继续对话的唯一上下文。要求:\n' +
|
||||
'1) 提炼关键事实、决定、约束、待办;\n' +
|
||||
'2) 保留用户的偏好与命名约定;\n' +
|
||||
'3) 忽略寒暄与已完成的工具调用细节;\n' +
|
||||
'4) 中文输出,简洁。\n' +
|
||||
'直接输出总结正文即可,不要加前言/标题/列表前缀。',
|
||||
},
|
||||
// 上下文压缩提示词不再走配置:压缩回合直接整体替换 system prompt,
|
||||
// 默认提示词固定在 server/templates/compress-prompt.txt(见 llm.compressPromptText)。
|
||||
platforms: [],
|
||||
// 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。
|
||||
// users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。
|
||||
|
||||
+69
-46
@@ -2,7 +2,7 @@
|
||||
// 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。
|
||||
const fs = require('fs');
|
||||
const path = require('path');
|
||||
const { buildMessages, callModel, encodeBlocks } = require('./llm');
|
||||
const { buildMessages, callModel, encodeBlocks, compressPromptText } = require('./llm');
|
||||
const { executeTool, resolveInTask } = require('./tools/executor');
|
||||
const mcp = require('./mcp');
|
||||
const log = require('./log');
|
||||
@@ -78,7 +78,7 @@ function saveMessage(sessionId, msg) {
|
||||
'INSERT INTO messages (session_id, role, content, reasoning, tool_calls, tool_call_id, name, type, is_error, created_at) VALUES (?,?,?,?,?,?,?,?,?,?)'
|
||||
).run(sessionId, msg.role, msg.content || null, msg.reasoning || null,
|
||||
msg.tool_calls ? JSON.stringify(msg.tool_calls) : null,
|
||||
msg.tool_call_id || null, msg.name || null, msg.type || null, msg.is_error ? 1 : 0, now());
|
||||
msg.tool_call_id || null, msg.name || null, msg.type || null, msg.is_error ? 1 : 0, msg.created_at || now());
|
||||
// 关键动作日志:AI 每轮回复落库(含纯工具调用轮)
|
||||
if (msg.role === 'assistant') {
|
||||
const calls = msg.tool_calls || [];
|
||||
@@ -276,8 +276,11 @@ function dispatchQueued() {
|
||||
const session = getSession(head.session_id);
|
||||
if (!session || session.status !== 'queued') continue;
|
||||
// 上面已确认有空闲模型,pickModelFor 必能回退到 freeModel;
|
||||
// 无待回应消息的会话(如新建后从未发言)只预留不占跑,绑成 held 等首条消息
|
||||
const pending = hasPendingUser(session.id);
|
||||
// 无待回应消息的会话(如新建后从未发言)只预留不占跑,绑成 held 等首条消息。
|
||||
// 待开跑的压缩回合(内存 run.summaryMode,见 summarizeContext)也算待处理:
|
||||
// 它没有对应的用户消息行,hasPendingUser 判不到,需单独纳入。
|
||||
const run0 = runs.get(session.id);
|
||||
const pending = hasPendingUser(session.id) || !!(run0 && run0.summaryMode);
|
||||
bindModel(session, pickModelFor(session), pending ? 'active' : 'held');
|
||||
emitStatus(session.id);
|
||||
if (pending) runLoop(session.id);
|
||||
@@ -429,9 +432,13 @@ async function runLoopInner(sessionId, run) {
|
||||
if (!session || session.status !== 'active' || !session.model_id) break;
|
||||
session.history = loadHistoryForModel(sessionId);
|
||||
for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id;
|
||||
const messages = buildMessages(session, (cfg.agent || {}).language);
|
||||
// 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型
|
||||
const tools = TOOL_DEFINITIONS.concat(mcp.toolDefinitions());
|
||||
// 压缩回合(run.summaryMode 非空 = 由「压缩」按钮发起、尚未产出摘要):
|
||||
// system prompt 整体替换为压缩提示词(templates/compress-prompt.txt),
|
||||
// 且不随请求传 tools:模型拿得到完整历史,但只能输出总结文本,不会再调工具。
|
||||
const compressing = !!run.summaryMode;
|
||||
const messages = buildMessages(session, (cfg.agent || {}).language, compressing ? compressPromptText() : null);
|
||||
// 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发)
|
||||
const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions());
|
||||
|
||||
let result = null;
|
||||
let lastErr = null;
|
||||
@@ -449,8 +456,8 @@ async function runLoopInner(sessionId, run) {
|
||||
if (run.cancelled) break;
|
||||
if (!result) {
|
||||
const text = '⚠️ 模型调用失败:' + (lastErr && lastErr.message || '未知错误');
|
||||
saveMessage(sessionId, { role: 'assistant', content: text });
|
||||
bus.emit(sessionId, 'assistant_message', { content: text, error: true });
|
||||
const errId = saveMessage(sessionId, { role: 'assistant', content: text });
|
||||
bus.emit(sessionId, 'assistant_message', { id: errId, content: text, error: true, created_at: now() });
|
||||
break;
|
||||
}
|
||||
|
||||
@@ -487,25 +494,20 @@ async function runLoopInner(sessionId, run) {
|
||||
id: tc.id || ('call_' + Math.random().toString(36).slice(2, 10)), type: 'function',
|
||||
function: { name: tc.name, arguments: tc.arguments },
|
||||
})) : null,
|
||||
// 落库与 SSE 事件共用同一时间戳:前端流式收尾时直接拿来渲染时间行,重进会话后时刻不跳变
|
||||
created_at: now(),
|
||||
};
|
||||
const assistantId = saveMessage(sessionId, msgRow);
|
||||
if (isErrAck) log.info('msg', sessionId + ' 本轮 tool call 参数错误,assistant 标记 errAck(不再进入模型上下文)');
|
||||
recordModelUsage(sessionId, session.model_id, result.usage);
|
||||
// 「压缩」按钮触发的总结请求:只把压缩回合的「最终答复」(无 tool_calls 的收尾回复)标为
|
||||
// is_summary;回合中间产生的 AI 回复(含工具调用轮)都是普通消息,前端照常渲染。
|
||||
// 判别 = 「紧邻的上一条 user 消息是 summarize_request」,而不是「历史上出现过 summarize_request」:
|
||||
// generate_only 会保留历史、指令行留在库里,旧写法会把之后每一轮的 assistant 都误标成总结。
|
||||
// 「压缩」回合的总结判定:压缩时不传 tools,因此本回合第一条「无 tool_calls 的收尾回复」
|
||||
// 就是摘要(compressing 取自本回合的 run.summaryMode 标记);回合中间若有异常产生的
|
||||
// 工具轮(理论上不会)都是普通消息,前端照常渲染。
|
||||
// 该标志传到前端后,前端按用户在弹窗选的模式走后续。mode 从发起请求时记录在 run 上的 summaryMode 取(不入库)。
|
||||
let isSummary = false;
|
||||
if (!hasTools) {
|
||||
const prevUser = db.prepare(
|
||||
"SELECT type FROM messages WHERE session_id = ? AND role = 'user' AND id < ? ORDER BY id DESC LIMIT 1"
|
||||
).get(sessionId, assistantId);
|
||||
isSummary = !!(prevUser && prevUser.type === 'summarize_request');
|
||||
}
|
||||
const isSummary = !hasTools && compressing;
|
||||
bus.emit(sessionId, 'assistant_message', {
|
||||
id: assistantId, content: msgRow.content, reasoning: msgRow.reasoning,
|
||||
tool_calls: msgRow.tool_calls, type: msgRow.type,
|
||||
tool_calls: msgRow.tool_calls, type: msgRow.type, created_at: msgRow.created_at,
|
||||
is_summary: isSummary,
|
||||
mode: isSummary ? (run.summaryMode || null) : null,
|
||||
});
|
||||
@@ -589,8 +591,8 @@ async function runLoopInner(sessionId, run) {
|
||||
}
|
||||
if (iter >= maxIter && !run.cancelled) {
|
||||
const text = '⚠️ 已达到最大工具迭代次数(' + maxIter + '),自动停止。可继续输入让我接着干。';
|
||||
saveMessage(sessionId, { role: 'assistant', content: text });
|
||||
bus.emit(sessionId, 'assistant_message', { content: text });
|
||||
const stopId = saveMessage(sessionId, { role: 'assistant', content: text });
|
||||
bus.emit(sessionId, 'assistant_message', { id: stopId, content: text, created_at: now() });
|
||||
}
|
||||
}
|
||||
// 解析单条 SSE meta 行(按第一个 ':' 切 k,v 分发),构造回调供 streamAssistant 使用。
|
||||
@@ -817,21 +819,17 @@ function createSession(title, preferModelId, assistantType, user) {
|
||||
function postUserMessage(sessionId, content, opts) {
|
||||
const session = getSession(sessionId);
|
||||
if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 });
|
||||
// opts.type: 落库时给该 user 消息带上 type 标记。
|
||||
// 用于「压缩」按钮触发时给总结指令打 type='summarize_request':该指令只在压缩回合内发给模型
|
||||
//(回合完成后 llm.buildMessages 不再携带,防旧指令污染后续轮次),
|
||||
// 并让 runLoopInner 识别到后给对应的 assistant_message SSE 加 is_summary: true 标志。
|
||||
const messageId = saveMessage(sessionId, { role: 'user', content, type: (opts && opts.type) || null });
|
||||
const messageId = saveMessage(sessionId, { role: 'user', content });
|
||||
if (!session.title) {
|
||||
touch(sessionId, { title: content.slice(0, 24) });
|
||||
}
|
||||
// 预建/更新 run 记录,记下本轮的 deepThink(被 runLoop / callModel 读取)
|
||||
const run = getRun(sessionId, true);
|
||||
run.deepThink = !!(opts && opts.deepThink);
|
||||
// opts.mode 仅用于「压缩」总结:runLoopInner 在 emit assistant_message 时带上 mode,
|
||||
// 让前端在收到 AI 总结时知道该走 generate_only 还是 compress_and_clear 后续流程。
|
||||
// mode 不入库 messages.type(它是 session 级别上下文,不属于某条消息的属性)。
|
||||
run.summaryMode = (opts && opts.type === 'summarize_request') ? (opts.mode || null) : (run.summaryMode || null);
|
||||
// 真实用户消息到达:若还有个「已排队但尚未开跑」的压缩回合(见 summarizeContext),
|
||||
// 让它作废,避免新消息被误当成压缩回合处理;已在跑(looping)的不动,
|
||||
// 由其收尾时自行清空 summaryMode。
|
||||
if (run.summaryMode && !run.looping) run.summaryMode = null;
|
||||
if (session.status === 'active' && run.looping) {
|
||||
// 正在跑:下一轮迭代会从 DB 重新加载历史,自动带上这条消息
|
||||
return { message_id: messageId, delivered: 'live' };
|
||||
@@ -919,18 +917,20 @@ function deleteSession(sessionId, deleteDir) {
|
||||
return { ok: true };
|
||||
}
|
||||
|
||||
// 上下文压缩:phase-bar「压缩」按钮触发。把 config.yml 的 compress.prompt 作为一条 type='summarize_request'
|
||||
// 的 user 消息发出去,AI 收到后会基于历史生成总结并以 assistant 消息回复。
|
||||
// llm.js 规则:type='summarize_request' 的指令只在压缩回合进行中发给模型(回合完成后跳过),
|
||||
// 既保证 AI 拿得到总结指令,又不会在后续请求里反复污染上下文。
|
||||
// 由 runLoopInner 在压缩回合的最终答复(无 tool_calls 且紧邻上一条 user 是 summarize_request)
|
||||
// emit 时带 is_summary: true,并带上 mode 给前端,前端按用户选择的模式走完最后一步
|
||||
// 上下文压缩:phase-bar「压缩」按钮触发。不再往会话里插入指令消息:
|
||||
// 压缩回合的 system prompt 直接整体替换为 templates/compress-prompt.txt(见 llm.compressPromptText),
|
||||
// 且该回合不传 tools(见 runLoopInner 的 compressing 分支),模型基于完整历史输出总结。
|
||||
// 识别标记 = run.summaryMode(仅在内存 run 上,不入库):runLoopInner 据此换 prompt/去 tools,
|
||||
// 并在压缩回合的收尾答复 emit 时带 is_summary: true + mode,前端按用户选择的模式走完最后一步
|
||||
//(compress_and_clear 时调 DELETE ?keep=summary 清空历史、仅留该摘要并标 type='summary')。
|
||||
// 两种模式收尾都一样先落库:摘要行标 type='summary',它之前的全部消息标 type='archived'
|
||||
//(UI 保留展示、不再发给模型,后续对话从摘要开始);区别只在 compress_and_clear 额外物理删除。
|
||||
// 注意:排队等模型的压缩回合只记在内存 run 上,服务重启会丢(旧版靠库里的指令行存活);
|
||||
// 重启后需重新点「压缩」。
|
||||
// 限制:与 clearSessionMessages 类似——会话执行中(active)禁止操作,避免和正在跑的回合抢上下文。
|
||||
// mode: 'generate_only' 或 'compress_and_clear',由路由校验后传入。
|
||||
// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」,无需再拉配置。
|
||||
// 响应回显 prompt:前端「开始压缩后直接把压缩指令渲染成一条普通用户消息气泡」;
|
||||
// 该气泡仅供展示,不入库也不发给模型(指令走 system prompt)。
|
||||
function summarizeContext(sessionId, mode) {
|
||||
const session = getSession(sessionId);
|
||||
if (!session) throw Object.assign(new Error('会话不存在'), { status_code: 404 });
|
||||
@@ -938,12 +938,35 @@ function summarizeContext(sessionId, mode) {
|
||||
if (run && run.looping) {
|
||||
throw Object.assign(new Error('任务正在执行,请先「终止」再压缩'), { status_code: 409 });
|
||||
}
|
||||
const prompt = cfg && cfg.compress && cfg.compress.prompt;
|
||||
if (!prompt) throw Object.assign(new Error('配置缺少 compress.prompt,请检查 config.yml'), { status_code: 500 });
|
||||
// 复用 postUserMessage:opts.type='summarize_request' 给该消息打标,
|
||||
// opts.mode 用于 runLoopInner SSE 带 mode 返回给前端。
|
||||
const r = postUserMessage(sessionId, prompt, { type: 'summarize_request', mode });
|
||||
return Object.assign({ prompt }, r);
|
||||
const prompt = compressPromptText();
|
||||
// 与 postUserMessage 同样的唤醒/排队流转,但不落任何消息行;
|
||||
// run.summaryMode 标记本回合为压缩回合,摘要产出后由 runLoopInner 清空。
|
||||
// 状态流转时顺带重置 deepThink:压缩回合不需要思考参数,避免沿用上一轮的残留值。
|
||||
const r = getRun(sessionId, true);
|
||||
r.summaryMode = mode || null;
|
||||
r.deepThink = false;
|
||||
let delivered;
|
||||
if (session.status === 'held') {
|
||||
// 保持租约期内:直接复用当前绑定的模型,无需排队
|
||||
touch(sessionId, { status: 'active', held_at: null });
|
||||
emitStatus(sessionId);
|
||||
runLoop(sessionId);
|
||||
delivered = 'live';
|
||||
} else if (session.status === 'active') {
|
||||
// 上方已排除 looping;active 空闲时直接开跑
|
||||
runLoop(sessionId);
|
||||
delivered = 'live';
|
||||
} else {
|
||||
// 排队 / 已完成 / 已终止 → 重新入队;若派发后已立即拿到空闲模型,则算直接送达
|
||||
//(dispatchQueued 会把带 summaryMode 的排队会话当作有待处理回合开跑)
|
||||
touch(sessionId, { status: 'queued', cancelled_at: null, completed_at: null, held_at: null });
|
||||
enqueue(sessionId);
|
||||
dispatchQueued();
|
||||
const after = getSession(sessionId);
|
||||
emitStatus(sessionId);
|
||||
delivered = after && after.status === 'active' ? 'live' : 'queued';
|
||||
}
|
||||
return { prompt, delivered };
|
||||
}
|
||||
|
||||
// 清空会话的对话内容:删除该会话的全部消息记录,但保留会话本身与任务目录文件。
|
||||
@@ -973,7 +996,7 @@ function clearSessionMessages(sessionId, opts) {
|
||||
"SELECT id FROM messages WHERE session_id = ? AND role = 'assistant' ORDER BY id DESC LIMIT 1"
|
||||
).get(sessionId) : null;
|
||||
if (lastSummary) {
|
||||
// 保留总结行,其余(含 summarize_request 指令、中间工具轮)全部删除
|
||||
// 保留总结行,其余(含旧版遗留的 summarize_request 指令、中间工具轮)全部删除
|
||||
db.prepare('DELETE FROM messages WHERE session_id = ? AND id != ?').run(sessionId, lastSummary.id);
|
||||
db.prepare("UPDATE messages SET type = 'summary' WHERE id = ?").run(lastSummary.id);
|
||||
} else {
|
||||
|
||||
+19
-9
@@ -5,6 +5,14 @@ const path = require('path');
|
||||
|
||||
const SYSTEM_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'system-prompt.txt'), 'utf8');
|
||||
|
||||
// 上下文压缩提示词:点「压缩」时不再往会话里插入指令消息,而是把压缩回合的
|
||||
// system prompt 整体替换为这份提示词(见 engine.summarizeContext / runLoopInner),
|
||||
// 且该回合不随请求发送 tools。需要调整压缩策略时直接改这个模板文件。
|
||||
const COMPRESS_PROMPT_TEMPLATE = fs.readFileSync(path.join(__dirname, 'templates', 'compress-prompt.txt'), 'utf8');
|
||||
function compressPromptText() {
|
||||
return COMPRESS_PROMPT_TEMPLATE;
|
||||
}
|
||||
|
||||
// system prompt 完全静态:所有会话共用同一份内容,利于上游前缀缓存。
|
||||
// 动态会话信息(日期/任务目录/模型显示名)不再拼入 system prompt,
|
||||
// 而是在新建会话时作为首条 user 消息发送,见 engine.js 的 sessionContextContent。
|
||||
@@ -76,14 +84,16 @@ function cachedDecodeBlocks(session, row) {
|
||||
// - type='archived'(压缩时摘要之前的全部旧行,含旧摘要/指令/工具轮):不发模型。
|
||||
// 这是「仅摘要」的核心语义:UI 照常保留展示,但后续对话从摘要开始,旧历史不再烧 token;
|
||||
// 「压缩总结」则另由前端 DELETE keep=summary 把存档行物理删除。
|
||||
// - type='summarize_request'(压缩指令):只在触发的那一压缩回合内发给模型(见下方判定),
|
||||
// 回合完成后不再携带,防旧指令让 AI 误以为还要再总结。
|
||||
// - type='summarize_request'(旧版压缩指令,已废弃):新版压缩改为整体替换 system prompt
|
||||
// (见 compressPromptText),不再产生这种消息行;此处分支仅为兼容旧库里残留的指令行。
|
||||
// errAck 行(AI tool call 参数错误,见 engine.checkToolArgs):整条不发给模型,
|
||||
// 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收);
|
||||
// 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 ——
|
||||
// 坏样本留在上下文里只会被模型继续模仿,反复报同一个错。
|
||||
function buildMessages(session, language) {
|
||||
const messages = [{ role: 'system', content: systemPromptText(language) }];
|
||||
// systemPromptOverride:非空时用它整体替换首条 system 消息(压缩回合传入
|
||||
// compressPromptText(),见 engine.runLoopInner);缺省走常规 system prompt。
|
||||
function buildMessages(session, language, systemPromptOverride) {
|
||||
const messages = [{ role: 'system', content: systemPromptOverride || systemPromptText(language) }];
|
||||
const history = session.history;
|
||||
// 行被删除后清理残留的图片解析缓存条目(只增不清会缓慢泄漏;条数不会超过现存行数)
|
||||
if (session.blocksCache && session.blocksCache.size > history.length) {
|
||||
@@ -99,9 +109,9 @@ function buildMessages(session, language) {
|
||||
if (history[i].role === 'assistant' && history[i].type !== 'errAck' && history[i].type !== 'archived') { lastAssistant = i; break; }
|
||||
}
|
||||
const dropToolCallIds = new Set();
|
||||
// summarize_request 「已答复」判定的前置信息:最后一次「回合收尾回复」(无 tool_calls 的 assistant)的位置。
|
||||
// 指令行在其之后 = 还在等 AI 响应这条指令(当前压缩回合),应发给模型;在其之前 = 旧指令,跳过防污染。
|
||||
// errAck 带 tool_calls 不在此列;历史里残留的旧指令(如 generate_only)后面必然跟着摘要收尾行,自然被跳过。
|
||||
// 旧版 summarize_request 「已答复」判定的前置信息:最后一次「回合收尾回复」(无 tool_calls 的 assistant)的位置。
|
||||
// 指令行在其之后 = 还在等 AI 响应这条指令(旧版压缩回合未收尾),应发给模型;在其之前 = 旧指令,跳过防污染。
|
||||
// 新版压缩不再产生这种行(改为替换 system prompt),此处仅处理旧库升级后的残留数据。
|
||||
let lastClosingAssistant = -1;
|
||||
history.forEach((row, i) => {
|
||||
if (row.role === 'assistant' && !row.tool_calls) lastClosingAssistant = i;
|
||||
@@ -109,7 +119,7 @@ function buildMessages(session, language) {
|
||||
history.forEach((row, i) => {
|
||||
// archived:UI 可见,但不进入模型上下文(节省 token)
|
||||
if (row.type === 'archived') return;
|
||||
// summarize_request:仅在触发的那一压缩回合内发给模型(见函数头注释)
|
||||
// summarize_request(旧版遗留行):仅在未收尾的旧压缩回合内发给模型,其余一律跳过
|
||||
if (row.type === 'summarize_request') {
|
||||
if (i > lastClosingAssistant && (row.content || '').trim()) {
|
||||
messages.push({ role: 'user', content: row.content });
|
||||
@@ -325,4 +335,4 @@ async function callModel(cfg, modelId, messages, tools, options) {
|
||||
return { content, reasoning, tool_calls: Array.from(toolCalls.values()), finish_reason: finishReason, usage, aborted, sseFrames };
|
||||
}
|
||||
|
||||
module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks };
|
||||
module.exports = { callModel, buildMessages, buildSystemPrompt, systemPromptText, setSkillListText, encodeBlocks, decodeBlocks, compressPromptText };
|
||||
|
||||
@@ -1147,7 +1147,8 @@
|
||||
// (UI 保留全部展示,但旧消息不再发给模型);前端把摘要前旧消息就地淡出存档。
|
||||
// 压缩总结(compress_and_clear):同上,另由前端自动调 DELETE ?keep=summary 物理清空,
|
||||
// 聊天里只留摘要卡片(不可恢复)。
|
||||
// 开始压缩后:后端响应回显 prompt,前端把它直接渲染成一条普通用户消息气泡;
|
||||
// 开始压缩后:后端响应回显 prompt,前端把它渲染成一条普通用户消息气泡(仅展示:
|
||||
// 指令不再入库、也不发给模型,压缩回合的 system prompt 已整体替换为压缩提示词);
|
||||
// 压缩回合中间的 AI 回复(思考/工具调用等)全部按普通消息渲染;
|
||||
// 只有回合收尾的那条最终答复才带 is_summary,渲染成摘要卡片。
|
||||
// 后端 summarize 路由收 body.mode;runLoopInner 在最终 assistant_message SSE 上带 is_summary + mode。
|
||||
@@ -1428,7 +1429,7 @@
|
||||
bubble.innerHTML = r.html;
|
||||
state.streamWrap.appendChild(bubble);
|
||||
}
|
||||
// 「压缩」总结回合的最终答复(后端已保证只有收尾无工具调用且紧邻 summarize_request 的那条才带 is_summary,
|
||||
// 「压缩」总结回合的最终答复(后端已保证只有压缩回合里首条无工具调用的收尾回复才带 is_summary,
|
||||
// 中间 AI 回复已按普通消息渲染):把已流式输出的气泡装进摘要卡片(与历史重渲染同款样式),
|
||||
// 并标记 wrap 为 msg-summary-live:compress_and_clear 清空历史时保留该节点,不再重新渲染摘要。
|
||||
// open=true 让用户立刻读到;后续轮次不自动折起(卡片可手动点 summary 收起)。
|
||||
@@ -1446,6 +1447,11 @@
|
||||
wrap0.insertBefore(det, ref);
|
||||
wrap0.classList.add('msg-summary-live');
|
||||
}
|
||||
// 补上尾部操作行(时间戳+复制/删除),与历史重渲染(aiMsgHtml)同款;
|
||||
// created_at 由后端落库时间随事件回传,重进会话后时刻不变
|
||||
if (state.streamWrap) {
|
||||
state.streamWrap.insertAdjacentHTML('beforeend', actionsHtml(d.created_at, d.content || '', d.id));
|
||||
}
|
||||
if (d.tool_calls) appendToolCardsFromAssistant(d, $('chat-view'));
|
||||
state.streaming = false;
|
||||
// 思考面板本轮结束兜底折叠(正常已在首个正文 delta 时折过,这里是 no-op);
|
||||
|
||||
@@ -77,7 +77,9 @@ router.delete('/:id/messages', wrap((req, res) => {
|
||||
// mode='generate_only' AI 总结;摘要之前的历史存档(type='archived',UI 保留展示、不再发给模型)
|
||||
// mode='compress_and_clear' AI 总结;前端完成后另调 DELETE ?keep=summary 把存档行物理清空,界面只留摘要
|
||||
// 摘要行本身两种模式都会标成 type='summary'(见 engine.runLoopInner),作为后续轮次的上下文起点。
|
||||
// 后端负责「丢一条 type='summarize_request' 的 user 消息」(响应回显 prompt 供前端直接渲染该指令气泡),
|
||||
// 后端直接开启一个压缩回合(不往会话插入任何消息):该回合的 system prompt 整体替换为
|
||||
// templates/compress-prompt.txt 且不传 tools(见 engine.summarizeContext);
|
||||
// 响应回显 prompt 供前端直接渲染该指令气泡(仅展示,不入库),
|
||||
// 并在总结回合的最终 SSE assistant_message 上带 is_summary + mode 给前端走收尾。
|
||||
// 状态非 active 时才允许(避免与正在跑的回合抢上下文)。本接口只是「丢一条总结请求进队列」,
|
||||
// 不等待 AI 完成——前端通过现有 SSE 流听 assistant_message 事件拿结果。
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
你是一个对话上下文压缩器。下面提供一段用户与 AI 的完整交互记录,
|
||||
请将它压缩成一份「上下文摘要」——它将作为此后所有新对话的开头注入,
|
||||
AI 只能通过这份摘要了解之前发生过什么。目标是让 AI 读完摘要后能
|
||||
无缝接续工作,就像它一直记得这些对话一样。
|
||||
|
||||
## 必须保留(按优先级)
|
||||
1. 用户的核心目标与需求,以及过程中的变更和修正(以最终版本为准)
|
||||
2. 关键决策与共识:采用的方案、技术选型、风格偏好、命名约定
|
||||
3. 硬性信息:文件路径、项目名、接口/字段名、命令、数字参数等,必须原样保留,不得改写或翻译
|
||||
4. 当前进度:已完成什么、正在做什么、下一步是什么
|
||||
5. 未解决的问题、悬而未决的疑问
|
||||
6. 重要的失败尝试及原因(防止后续重蹈覆辙)
|
||||
7. 用户的明显偏好(语言、详略程度、称呼、输出格式等)
|
||||
8. 若最后一条用户消息是正在进行的任务,其最新要求应尽量保留;如是明确指令,可在【待办/未决问题】中以引号原样引用,并标注“用户原话:”
|
||||
|
||||
## 可以舍弃
|
||||
- 对话原话、寒暄、重复确认
|
||||
- 中间推导过程(只保留结论)
|
||||
- 已被否决方案的细节(只留一句“曾尝试 X,因 Y 放弃”)
|
||||
|
||||
## 输出要求
|
||||
1. 用第三人称陈述式书写,禁止写成对话体;但用户最新明确指令可在【待办/未决问题】中用引号原样引用,并加“用户原话:”前缀
|
||||
2. 按以下结构输出:
|
||||
【任务背景】
|
||||
【关键约定与偏好】
|
||||
【重要实体】(文件/项目/名称/数据,原样罗列;若超过 20 个,仅列最关键者并注明“其余略”)
|
||||
【已完成】
|
||||
【待办/未决问题】(若为用户原话指令,加“用户原话:”前缀)
|
||||
【注意事项】
|
||||
3. 信息不足时如实标注“不确定”,禁止编造;涉及角色归属时标注“用户/AI/共识”
|
||||
4. 在保证所有“必须保留”项完整的前提下尽量压缩;目标长度为原文的10%左右,通常不超过1000字。
|
||||
若必须保留的信息本身较多,可适度超出,但需在【注意事项】中说明“因信息密度高,摘要略长”。
|
||||
若因长度限制必须省略部分内容,按优先级从低到高舍弃,并在【注意事项】中说明省略了什么及原因。
|
||||
5. 摘要末尾可附一行“置信度:明确事实/推测”的简注,不计入正文
|
||||
6. 只输出摘要本身,不要任何解释、开场白或结尾
|
||||
|
||||
对话记录如下:
|
||||
{{conversation}}
|
||||
@@ -79,6 +79,9 @@ You are a file / data / information processing assistant. The environment expose
|
||||
**Preinstalled system tools:**
|
||||
`ca-certificates, curl, git, python3, pip3, ripgrep, procps, unzip, wget, jq, zip, tree, file, build-essential, 7z, unar, poppler-utils (pdftotext, pdfimages, etc.), qpdf, ghostscript, imagemagick, tesseract-ocr (with chi-sim), ffmpeg, sqlite3, libreoffice`
|
||||
|
||||
**Chinese font support:**
|
||||
Noto CJK fonts are installed (SC/TC/JP/KR). For matplotlib, set `font.sans-serif` to `Noto Sans CJK SC` to render Chinese. LibreOffice and Tesseract (`chi_sim`) already support Chinese.
|
||||
|
||||
**Preinstalled Python packages:**
|
||||
`requests, beautifulsoup4, lxml, pandas, numpy, openpyxl, python-docx, python-pptx, xlrd, reportlab, matplotlib (use Agg backend for headless), Pillow, pypdf, pymupdf, pdfplumber, python-dateutil, python-magic, loguru, rich`
|
||||
|
||||
|
||||
@@ -147,8 +147,8 @@ messages id PK / session_id FK / role (system|user|assistant|tool) /
|
||||
content (TEXT, 含 __blocks__ 哨兵 JSON 多模态) / reasoning /
|
||||
tool_calls (JSON) / tool_call_id / name / type /
|
||||
is_error / created_at
|
||||
# type 取值: summary / archived / errAck / summarize_request /
|
||||
# session_context (name 列 = SESSION_CONTEXT_NAME)
|
||||
# type 取值: summary / archived / errAck / session_context (name 列 = SESSION_CONTEXT_NAME)
|
||||
# 旧版遗留: summarize_request(压缩指令 user 消息,已废弃,仅 buildMessages 兼容旧库)
|
||||
|
||||
files id PK / session_id / filename / size / created_at
|
||||
# 仅记录元数据;文件本体在 workspace 目录里
|
||||
@@ -218,7 +218,7 @@ stateDiagram-v2
|
||||
- `run.cancelled = true` 是停止的最终信号;远端子进程通过 `run.procs` 注册(local spawn 用 child、remote-exec 用 `remoteKill` 句柄),`killRunProcs` 按类型分别处理。
|
||||
- `lastIncludedId` 跟踪本轮已纳入模型请求的最新消息 id;流式期间到达的新 user 消息靠它在下一轮迭代时自动带上。
|
||||
- **errAck 机制**:工具参数结构性错误(JSON 非法/缺必填)→ 整条 assistant 标 `type='errAck'`,关联 tool 回执一并丢弃,发请求时由 user 错误提示替代(`llm.buildMessages`)—— 防止模型模仿自己的坏样本死循环。
|
||||
- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。`summarize_request` 指令只在当前压缩回合内发模型(`llm.buildMessages` 通过 `lastClosingAssistant` 判定)。
|
||||
- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summaryMode`,`runLoopInner` 据此把 system prompt 整体替换为 `server/templates/compress-prompt.txt`(`llm.compressPromptText`)且该回合不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。)
|
||||
- **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON;发请求时还原为 OpenAI `image_url` 块,且**只保留最后一条 assistant 之后的图**(`lastAssistant` 判定)—— 之前的图剥 base64 改成"已省略"文字描述,省 token;DB 始终存全量供 UI 重渲染。
|
||||
- **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。
|
||||
|
||||
@@ -421,7 +421,7 @@ stateDiagram-v2
|
||||
- `terminal.max_output_chars`(默认 10000)—— AI 看到的命令输出上限;executor 侧另有 `EXECUTOR_MAX_OUTPUT_CHARS=200000` 兜底。
|
||||
- `skills.skills_root` —— 缺省取 `workspace_root` 的同级 `skills/`。
|
||||
- `model_hold` —— 保持租约;详情见 §5.1。
|
||||
- `compress.prompt` —— 上下文压缩时给 AI 的指令(可改中文/英文/其他语言)。
|
||||
- 上下文压缩 —— 无配置项:压缩回合的 system prompt 整体替换为固定模板 `server/templates/compress-prompt.txt`,该回合不传 tools;调整压缩策略直接改该文件。
|
||||
- `auth.users` —— 明文密码配在配置里(自用场景);`secret` 留空则随机生成(重启掉登录态,建议固定随机串)。
|
||||
- `mcp_servers[].enable: false` —— 启动不加载该服务(配置保留),其余工具不受影响。
|
||||
- `executor.url` / `executor.token` —— 留空走环境变量 `EXECUTOR_URL` / `EXECUTOR_TOKEN`(compose 默认注入)。
|
||||
|
||||
Reference in New Issue
Block a user