diff --git a/app/AGENTS.md b/app/AGENTS.md index 0f25145..342a59a 100644 --- a/app/AGENTS.md +++ b/app/AGENTS.md @@ -190,8 +190,12 @@ IM 用户在实时对话,回合中插话应当“当前这步跑完就插” - 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图 没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」—— 模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。 -- 占位裁剪(`agent.trim_write_rounds` / `trim_result_rounds`):距尾 ≥N 个 assistant 轮的 - `write_file.content`、`fetch`/`read_file` 回执换成单行占位。**只改发给上游的副本**,DB 与 UI 不动。 +- 占位裁剪(`agent.trim.rules`):距尾 ≥N 个 assistant 轮的指定工具参数(`side: args` + `fields`, + 仅顶层字符串)或回执正文(`side: result`)换成单行占位。默认规则在 `config.js` 的 + `DEFAULTS.agent.trim.rules`(`write_file.content` / `fetch` / `read_file` / `web_search`), + `config.yml` 写了 `trim.rules` 就整体替换(`[]` = 全关)。 + **只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或只是当时快照」的工具配: + `terminal` 这类一次性输出裁掉后模型就再也看不到(规则写法见 `config.example.yml` 的 `agent.trim`)。 - `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次 常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。 - `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`) diff --git a/app/config.example.yml b/app/config.example.yml index 311dc45..e7794a8 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -47,8 +47,29 @@ agent: max_retries: 2 # 上游失败重试次数 language: "Simplified Chinese" # 强制回复语言;留空不限 auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关 - trim_write_rounds: 1 # 历史重放裁剪:write_file 参数正文距尾 ≥N 个 assistant 轮换单行占位(0=关;DB/UI 不动,盘上可重读) - trim_result_rounds: 2 # fetch/read_file 回执正文距尾 ≥N 个 assistant 轮换单行占位(0=关;占位留 url/path 作恢复指针) + # 历史重放占位裁剪(省 token):某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后, + # 把可再生的重负载换成单行占位再发给上游(DB/UI 不动,盘上可重读/重抓)。rounds=0 或 + # 不写这条规则 = 不裁;整段 rules: [] = 全关。 + # 下面是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。 + # side=args 裁调用参数(fields 点名顶层字符串参数);side=result 裁整段回执正文。 + # tool 用模型看到的最终工具名(MCP 重名时含 server__ 前缀)。 + trim: + min_chars: 600 # 短于此长度的正文不裁(占位自身也有成本);单条规则可用 min_chars 覆盖 + rules: + - tool: write_file # 参数正文只是写盘时的快照,后续 edit_file 一次就失真 + side: args + fields: [content] + rounds: 1 + - tool: fetch # 页面可重抓;status_regex 取第一个捕获组写进占位(YAML 用单引号,避免 \d 被当转义) + side: result + rounds: 2 + status_regex: '^HTTP (\d{3})' + - tool: read_file # 文件在盘上,可重读 + side: result + rounds: 2 + - tool: web_search # 栈内免费搜索 MCP;可重搜,但结果会随时间变化 + side: result + rounds: 2 auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动) # 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻 diff --git a/app/server/config.js b/app/server/config.js index c5891d2..08de51d 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -86,9 +86,18 @@ const DEFAULTS = { // auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。 // auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源, // 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。 - // trim_write_rounds / trim_result_rounds:历史重放占位裁剪(llm.buildMessages)——write_file 参数正文 / - // fetch、read_file 回执正文距尾 ≥N 个 assistant 轮后换单行占位(DB/UI 不动,内容可再生:盘上重读/重抓);0=关。 - agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim_write_rounds: 1, trim_result_rounds: 2 }, + // 历史重放占位裁剪(llm.buildMessages):trim.rules 逐条声明「哪个工具、参数侧还是回执侧、 + // 距尾多少个 assistant 轮后换单行占位」;只改发给上游的副本,DB/UI 不动。 + // 这里是默认策略的唯一来源:config.yml 写了 trim.rules 就整体替换(写 [] = 全关)。 + agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim: { + min_chars: 600, + rules: [ + { tool: 'write_file', side: 'args', fields: ['content'], rounds: 1 }, + { tool: 'fetch', side: 'result', rounds: 2, status_regex: '^HTTP (\\d{3})' }, + { tool: 'read_file', side: 'result', rounds: 2 }, + { tool: 'web_search', side: 'result', rounds: 2 }, + ], + } }, // 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。 // paste_to_file_threshold_chars:粘贴文本超过该字符数时前端转成 .txt 附件,0 = 关闭。 upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10, paste_to_file_threshold_chars: 2000 }, @@ -236,10 +245,83 @@ function normalizePlatforms(rawPlatforms, profileNames) { return out; } +// ---------- 历史重放的重负载占位裁剪(agent.trim) ---------- +// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」 +// 换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。 +// 只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数 +// 只是快照;terminal 输出是一次性的,裁掉模型就永久看不到了。 +const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'fields', 'min_chars', 'status_regex']); + +function toNonNegInt(v, d) { + const n = Math.floor(Number(v)); + return Number.isFinite(n) ? Math.max(0, n) : d; +} + +// 单条规则校验:未知字段直接报错(拼错静默忽略 = 以为省了 token 其实没省)。 +function normalizeTrimRule(r, i, defMinChars) { + const at = 'agent.trim.rules[' + i + ']'; + if (!r || typeof r !== 'object' || Array.isArray(r)) throw new Error(at + ' 必须是对象'); + for (const k of Object.keys(r)) { + if (!TRIM_RULE_KEYS.has(k)) { + throw new Error(at + ' 含未知字段:' + k + '(可用:' + Array.from(TRIM_RULE_KEYS).join(' / ') + ')'); + } + } + const tool = String(r.tool == null ? '' : r.tool).trim(); + if (!tool) throw new Error(at + ' 缺少 tool(填模型看到的最终工具名,MCP 重名时含 server__ 前缀)'); + const side = String(r.side == null ? '' : r.side).trim(); + if (side !== 'args' && side !== 'result') { + throw new Error(at + '.side 只能是 args(裁调用参数)/ result(裁回执正文),收到:' + side); + } + // rounds=0 = 该条规则关闭;直接丢掉,不留空规则。 + const rounds = toNonNegInt(r.rounds, 0); + if (rounds <= 0) return null; + const out = { tool, side, rounds, min_chars: toNonNegInt(r.min_chars, defMinChars) }; + if (side === 'args') { + if (!Array.isArray(r.fields) || !r.fields.length) { + throw new Error(at + '(args 侧)必须配 fields 数组(要占位的顶层参数名,如 [content])'); + } + out.fields = r.fields.map(x => String(x).trim()).filter(Boolean); + if (!out.fields.length) throw new Error(at + '(args 侧)fields 不能为空'); + } else if (r.fields !== undefined) { + throw new Error(at + '.fields 只适用于 args 侧(result 侧整段正文替换,无需点名字段)'); + } + if (r.status_regex !== undefined && r.status_regex !== null && String(r.status_regex).trim()) { + if (side !== 'result') throw new Error(at + '.status_regex 只适用于 result 侧'); + const src = String(r.status_regex); + try { new RegExp(src); } catch (_) { throw new Error(at + '.status_regex 不是合法正则:' + src); } + out.status_regex = src; + } + return out; +} + +// agent.trim 归一:默认值来自 DEFAULTS.agent.trim.rules(唯一来源),config.yml 写了 rules +// 就整体替换([] = 全关)。归一结果直接写回 cfg.agent.trim.rules,不再另造 trim_rules 键。 +function normalizeAgentTrim(cfg) { + // 拷一份再改:无 agent 段时 cfg.agent 与 DEFAULTS.agent 是同一引用,直接写会污染默认值 + // (配置页反复校验时上一份的 trim 会漏给下一份)。 + const a = Object.assign({}, cfg.agent || {}); + cfg.agent = a; + const trim = (a.trim && typeof a.trim === 'object' && !Array.isArray(a.trim)) ? a.trim : {}; + const defMinChars = toNonNegInt(trim.min_chars, DEFAULTS.agent.trim.min_chars); + // undefined / null 都是「没配」,回落到 DEFAULTS(deepMerge 通常已把默认数组带进来, + // 这里兜住 agent.trim: null 这类显式空值);显式 [] 才是全关。 + const rawRules = (trim.rules === undefined || trim.rules === null) ? DEFAULTS.agent.trim.rules : trim.rules; + if (!Array.isArray(rawRules)) throw new Error('agent.trim.rules 必须是数组'); + const rules = rawRules.map((r, i) => normalizeTrimRule(r, i, defMinChars)).filter(Boolean); + const seen = new Set(); + for (const r of rules) { + const k = r.side + '\u0000' + r.tool; + if (seen.has(k)) throw new Error('agent.trim.rules 重复声明同一工具同一侧:' + r.tool + '(' + r.side + ')'); + seen.add(k); + } + a.trim = Object.assign({}, trim, { min_chars: defMinChars, rules }); +} + // 校验原始配置文本(启动读文件与网页编辑共用)。configPath 仅记录来源,可为空。 function parseAndValidate(rawText, configPath) { let raw = YAML.parse(rawText || '') || {}; const cfg = deepMerge(DEFAULTS, raw); + normalizeAgentTrim(cfg); // ---------- 模型配置:platforms 层级(platforms[].models[] + platforms[].keys[])---------- // models 提到平台层(与 url/type 同级),多 key 共用同一份 models。 diff --git a/app/server/llm.js b/app/server/llm.js index cd2c0a9..d5fec81 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -199,8 +199,8 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k); } // 裁剪预扫:① 每行距尾的 assistant 轮数(从尾往头扫);② tool_call id → function - // (给 fetch/read_file 占位回填 url/path)。trimOn=false 时整个跳过(压缩回合)。 - const trimActive = trimOn !== false && (TRIM.writeRounds > 0 || TRIM.resultRounds > 0); + // (result 侧规则需要反查工具名)。trimOn=false(压缩回合)或没配规则时整个跳过。 + const trimActive = trimOn !== false && (TRIM.argsByTool.size > 0 || TRIM.resultByTool.size > 0); const roundsAfter = new Map(); const callById = new Map(); if (trimActive) { @@ -210,7 +210,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) roundsAfter.set(r.id, n); if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++; } - if (TRIM.resultRounds > 0) { + if (TRIM.resultByTool.size > 0) { for (const r of history) { if (r.role !== 'assistant' || !r.tool_calls) continue; try { for (const c of JSON.parse(r.tool_calls) || []) if (c && c.id && c.function) callById.set(c.id, c.function); } catch (_) {} @@ -331,7 +331,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) } else { m.tool_calls = paired; for (const c of paired) emittedCallIds.add(c.id); - if (trimActive && TRIM.writeRounds > 0) trimWriteCalls(m.tool_calls, roundsAfter.get(row.id) || 0); + if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0); } } if (!m.content) delete m.content; @@ -422,46 +422,81 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) } // ---------- 重负载占位裁剪(历史重放省 token) ---------- -// fetch/read_file 回执与 write_file 参数正文是重放里最贵的存量,且都可再生:文件在盘上、 -// 页面可重抓;write 参数只是当时快照(后续 edit_file 一次就失真,本就不该被当现势引用)。 -// 组装请求时对「距尾 ≥N 个 assistant 轮」的行换单行占位:纯函数、DB 不动(UI 工具卡照旧 -// 可展全量)、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮: +// 策略只在配置里:默认值来自 config.js 的 DEFAULTS.agent.trim.rules,config.yml 写了 +// agent.trim.rules 就整体替换([] = 全关)。本模块不含任何工具名或默认阈值;未注入 = 不裁剪。 +// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」 +// ——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。 +// 只应给可再生/快照型工具开规则:占位只改发给上游的副本(DB/UI 照旧可看全量),但模型侧 +// 一旦被裁就再也看不到那段内容(如 terminal 的一次性输出)。 +// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮: // 删中间消息可让已占位行短暂复活全文(一次性断前缀缓存,与图片消费 i { const n = Math.floor(Number(v)); return Number.isFinite(n) ? Math.max(0, n) : d; }; - TRIM = { writeRounds: toN(a.trim_write_rounds, 1), resultRounds: toN(a.trim_result_rounds, 2) }; +// 语义,接受)。 +function compileTrimRules(rules) { + const argsByTool = new Map(); + const resultByTool = new Map(); + for (const r of rules || []) { + if (!r || !r.tool) continue; + const rounds = Math.floor(Number(r.rounds)); + if (!(rounds > 0)) continue; + const rule = { + rounds, + minChars: Math.max(0, Math.floor(Number(r.min_chars)) || 0), + fields: Array.isArray(r.fields) ? r.fields.map(String) : [], + statusRe: null, + }; + if (r.side === 'result' && r.status_regex) { + try { rule.statusRe = new RegExp(String(r.status_regex)); } catch (_) { /* config.js 已校验 */ } + } + if (r.side === 'args') argsByTool.set(String(r.tool), rule); + else if (r.side === 'result') resultByTool.set(String(r.tool), rule); + } + return { argsByTool, resultByTool }; } -// write_file 参数占位:只洗 content。AI 友好记号风格:键值对、不写整句——path 不必重复, -// 本条 arguments 里就还在;改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。 -function trimWriteCalls(calls, rounds) { - if (rounds < TRIM.writeRounds) return; +let TRIM = compileTrimRules([]); +function setPayloadTrim(agentCfg) { + const trim = (agentCfg && agentCfg.trim && typeof agentCfg.trim === 'object' && !Array.isArray(agentCfg.trim)) + ? agentCfg.trim : {}; + TRIM = compileTrimRules(Array.isArray(trim.rules) ? trim.rules : []); +} +function omittedMarker(size, extra) { + return '[OMITTED' + (extra || '') + ', size=' + size + ']'; +} +// args 侧占位:只洗规则点名的顶层字符串参数,其余参数原样保留(path/url 等恢复指针不动)。 +// 改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。 +function trimToolCallArgs(calls, rounds) { for (const c of calls || []) { - if (!c || !c.function || c.function.name !== 'write_file') continue; + if (!c || !c.function) continue; + const rule = TRIM.argsByTool.get(c.function.name); + if (!rule || rounds < rule.rounds) continue; let args; try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; } - if (!args || typeof args.content !== 'string' || args.content.length < TRIM_MIN_CHARS) continue; - args.content = '[OMITTED, size=' + args.content.length + ']'; - c.function.arguments = JSON.stringify(args); + if (!args || typeof args !== 'object' || Array.isArray(args)) continue; + let changed = false; + for (const f of rule.fields) { + const v = args[f]; + if (typeof v !== 'string' || v.length < rule.minChars) continue; + args[f] = omittedMarker(v.length); + changed = true; + } + if (changed) c.function.arguments = JSON.stringify(args); } } -// fetch/read_file 回执占位:同款键值记号。url/path 不进占位——发起调用的 assistant 行仍载着 -// 它们,参数本身就是恢复指针。图片回执(blocks 非空)不碰:已有自己的消费省略逻辑。 +// result 侧占位:整段回执换单行。图片回执(blocks 非空)在上游分支里已还原成文字/图块, +// 这里只处理纯文本;status_regex 可把状态码写进占位(如 fetch 的 HTTP 状态)。 function trimToolContent(content, row, callById, roundsAfter) { - if (TRIM.resultRounds <= 0 || content.length < TRIM_MIN_CHARS) return content; - if ((roundsAfter.get(row.id) || 0) < TRIM.resultRounds) return content; + if (typeof content !== 'string') return content; const fn = callById.get(row.tool_call_id); const name = row.name || (fn && fn.name) || ''; - if (name !== 'fetch' && name !== 'read_file') return content; - if (name === 'fetch') { - const hm = /^HTTP (\d{3})/.exec(content); - return '[OMITTED' + (hm ? ', http_status=' + hm[1] : '') + ', size=' + content.length + ']'; + const rule = TRIM.resultByTool.get(name); + if (!rule) return content; + if ((roundsAfter.get(row.id) || 0) < rule.rounds) return content; + if (content.length < rule.minChars) return content; + let extra = ''; + if (rule.statusRe) { + const m = rule.statusRe.exec(content); + if (m && m[1]) extra = ', http_status=' + m[1]; } - return '[OMITTED, size=' + content.length + ']'; + return omittedMarker(content.length, extra); } // 拼压缩回合的 messages(参考 titleMessages 的拼法):默认 system prompt + 正常历史 diff --git a/app/server/server.js b/app/server/server.js index 626db15..a9cd4a5 100644 --- a/app/server/server.js +++ b/app/server/server.js @@ -18,7 +18,10 @@ const log = require('./log'); const cfg = loadConfig(process.env.AGENT_CONFIG); log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level,重启生效) -llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪阈值(llm.buildMessages;config agent.trim_*) +llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪规则(llm.buildMessages;config agent.trim.rules) +// 启动时把生效规则打出来:工具名拼错不会报错(MCP 工具要等发现后才存在),只能靠这行核对。 +log.info('startup', '历史重放占位裁剪:' + (((cfg.agent && cfg.agent.trim && cfg.agent.trim.rules) || []) + .map(r => r.tool + '/' + r.side + '≥' + r.rounds + '轮').join(', ') || '关闭')); const db = initDb(cfg.db_path); const bus = createBus(); diff --git a/docs/tool-design.md b/docs/tool-design.md index 0f0d9a1..6bb7218 100644 --- a/docs/tool-design.md +++ b/docs/tool-design.md @@ -66,6 +66,11 @@ system prompt 不重复 schema 已表达的内容。 tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。 +回执/参数里可能很大的内容,若**可再生**(文件在盘上可重读、页面可重抓)或只是当时快照, +可在 `agent.trim.rules` 登记历史重放占位裁剪:距尾 ≥N 个 assistant 轮后换成单行占位 +(`app/server/llm.js` 的 `setPayloadTrim`;`side: args` 点名参数、`side: result` 裁整段回执)。 +一次性输出(`terminal`、外部服务扣额度的生成结果等)不要登记——裁掉后模型无法恢复。 + ### 九、回执形态 - **内容型**工具(`read_file` 的文本、`fetch` 的正文、`db` 的查询结果)回执就是内容本身,不要套 JSON 信封。