diff --git a/app/AGENTS.md b/app/AGENTS.md index 342a59a..bfd5c8b 100644 --- a/app/AGENTS.md +++ b/app/AGENTS.md @@ -190,12 +190,16 @@ IM 用户在实时对话,回合中插话应当“当前这步跑完就插” - 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图 没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」—— 模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。 -- 占位裁剪(`agent.trim.rules`):距尾 ≥N 个 assistant 轮的指定工具参数(`side: args` + `fields`, - 仅顶层字符串)或回执正文(`side: result`)换成单行占位。默认规则在 `config.js` 的 - `DEFAULTS.agent.trim.rules`(`write_file.content` / `fetch` / `read_file` / `web_search`), - `config.yml` 写了 `trim.rules` 就整体替换(`[]` = 全关)。 - **只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或只是当时快照」的工具配: - `terminal` 这类一次性输出裁掉后模型就再也看不到(规则写法见 `config.example.yml` 的 `agent.trim`)。 +- 占位裁剪(`agent.trim.rules`):指定工具的参数(`side: args` + `fields`,仅顶层字符串)或回执正文 + (`side: result`)在满足**两个距离条件**时换成单行占位:`rounds` = 其后又有几条 assistant 行 + (「后面 AI 又说了几句话」)、`turns` = 其后又有几条真人消息(`role=user` 且 `type` 为空, + 「后面又来了几条真人消息」)。两者是 AND,同时满足才裁;`turns: 1` = 回合内绝不裁、跨过用户 + 回合边界才裁——`fetch` / `read_file` / `web_search` 默认都配了它(否则长回合里模型会把同一段 + 反复重读,实测有回合重读同一文件 24 次);`write_file` 的参数只是快照,只配 `rounds: 1`。 + 默认规则在 `config.js` 的 `DEFAULTS.agent.trim.rules`(唯一来源),`config.yml` 写了 `trim.rules` + 就整体替换(`[]` = 全关)。**只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或 + 只是当时快照」的工具配:`terminal` 这类一次性输出裁掉后模型就再也看不到 + (规则写法与示例见 `config.example.yml` 的 `agent.trim`)。 - `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次 常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。 - `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`) diff --git a/app/config.example.yml b/app/config.example.yml index e7794a8..7ce9440 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -47,12 +47,22 @@ agent: max_retries: 2 # 上游失败重试次数 language: "Simplified Chinese" # 强制回复语言;留空不限 auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关 - # 历史重放占位裁剪(省 token):某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后, - # 把可再生的重负载换成单行占位再发给上游(DB/UI 不动,盘上可重读/重抓)。rounds=0 或 - # 不写这条规则 = 不裁;整段 rules: [] = 全关。 - # 下面是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。 + # 历史重放占位裁剪(省 token):把「可再生的重负载」换成单行占位再发给上游 + #(DB/UI 不动,盘上可重读/重抓)。两个距离条件**同时满足**才裁: + # rounds = 这一行之后又出现了几条 AI 回复 (「后面 AI 又说了几句话」) + # turns = 这一行之后又来了几条真人消息 (「后面又来了几条真人消息」;注入行不算) + # + # 举例(rounds: 2 + turns: 1): + # 回合1:读① → 读② → 改③ → 「改好了」 + # 回合2 第 1 句请求:①② 已过 2 条 AI 回复 + 1 条真人消息 → 裁成占位; + # ③ 只过了 1 条 AI 回复 → 留着 + # 回合2 第 2 句请求:③ 也过了 2 条 → 裁 + # 也就是说:回合内绝不会裁,回合结束后开始清;想「新回合第一句就清光」把 rounds 改成 1。 + # + # rounds 与 turns 都写 0(或不写)= 该条规则关闭;整段 rules: [] = 全关。 # side=args 裁调用参数(fields 点名顶层字符串参数);side=result 裁整段回执正文。 # tool 用模型看到的最终工具名(MCP 重名时含 server__ 前缀)。 + # 下面就是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。 trim: min_chars: 600 # 短于此长度的正文不裁(占位自身也有成本);单条规则可用 min_chars 覆盖 rules: @@ -60,16 +70,20 @@ agent: side: args fields: [content] rounds: 1 + turns: 0 # 不带 turns:回合内也照裁(省的是每轮重发整个文件) - tool: fetch # 页面可重抓;status_regex 取第一个捕获组写进占位(YAML 用单引号,避免 \d 被当转义) side: result rounds: 2 + turns: 1 # 回合内不裁(否则同一 URL 会被反复重抓),跨回合后按 rounds 清 status_regex: '^HTTP (\d{3})' - tool: read_file # 文件在盘上,可重读 side: result rounds: 2 + turns: 1 # 回合内不裁(否则长回合里模型会反复重读同一段) - tool: web_search # 栈内免费搜索 MCP;可重搜,但结果会随时间变化 side: result rounds: 2 + turns: 1 # 同上;现在回执默认不截断,单条可能上万字 auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动) # 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻 diff --git a/app/server/config.js b/app/server/config.js index 08de51d..e2f193c 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -87,15 +87,21 @@ const DEFAULTS = { // auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源, // 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。 // 历史重放占位裁剪(llm.buildMessages):trim.rules 逐条声明「哪个工具、参数侧还是回执侧、 - // 距尾多少个 assistant 轮后换单行占位」;只改发给上游的副本,DB/UI 不动。 + // 距尾多远换单行占位」;只改发给上游的副本,DB/UI 不动。 + // 两个距离条件**同时满足**才裁: + // rounds = 这一行之后又出现了几条 assistant 行(「后面 AI 又说了几句话」) + // turns = 这一行之后又来了几条真人消息(role=user 且 type 为空,「后面又来了几条真人消息」) + // 所以 turns:1 = 回合内绝不裁、跨过用户回合边界才裁(避免长回合里模型反复重读同一个文件)。 // 这里是默认策略的唯一来源:config.yml 写了 trim.rules 就整体替换(写 [] = 全关)。 agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim: { min_chars: 600, rules: [ + // 参数正文只是写盘时的快照:不带 turns,回合内也照裁(省的是每轮重发整个文件) { tool: 'write_file', side: 'args', fields: ['content'], rounds: 1 }, - { tool: 'fetch', side: 'result', rounds: 2, status_regex: '^HTTP (\\d{3})' }, - { tool: 'read_file', side: 'result', rounds: 2 }, - { tool: 'web_search', side: 'result', rounds: 2 }, + // 回执可再生(页面可重抓 / 文件可重读 / 可重搜):turns:1 保证同一回合内不裁,回合结束后按 rounds 兜底 + { tool: 'fetch', side: 'result', rounds: 2, turns: 1, status_regex: '^HTTP (\\d{3})' }, + { tool: 'read_file', side: 'result', rounds: 2, turns: 1 }, + { tool: 'web_search', side: 'result', rounds: 2, turns: 1 }, ], } }, // 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。 @@ -246,11 +252,12 @@ function normalizePlatforms(rawPlatforms, profileNames) { } // ---------- 历史重放的重负载占位裁剪(agent.trim) ---------- -// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」 -// 换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。 -// 只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数 +// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮、且 ≥turns 个真人回合后, +// 把其中「可再生的重负载」换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。 +// rounds = 「后面 AI 又说了几句话」;turns = 「后面又来了几条真人消息」(type 为空的 user 行)。 +// 两者同时满足才裁。只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数 // 只是快照;terminal 输出是一次性的,裁掉模型就永久看不到了。 -const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'fields', 'min_chars', 'status_regex']); +const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'turns', 'fields', 'min_chars', 'status_regex']); function toNonNegInt(v, d) { const n = Math.floor(Number(v)); @@ -272,10 +279,11 @@ function normalizeTrimRule(r, i, defMinChars) { if (side !== 'args' && side !== 'result') { throw new Error(at + '.side 只能是 args(裁调用参数)/ result(裁回执正文),收到:' + side); } - // rounds=0 = 该条规则关闭;直接丢掉,不留空规则。 + // rounds / turns 都是「距尾多远」,同时满足才裁;两个都写 0(或不写)= 该条规则关闭,直接丢掉,不留空规则。 const rounds = toNonNegInt(r.rounds, 0); - if (rounds <= 0) return null; - const out = { tool, side, rounds, min_chars: toNonNegInt(r.min_chars, defMinChars) }; + const turns = toNonNegInt(r.turns, 0); + if (rounds <= 0 && turns <= 0) return null; + const out = { tool, side, rounds, turns, min_chars: toNonNegInt(r.min_chars, defMinChars) }; if (side === 'args') { if (!Array.isArray(r.fields) || !r.fields.length) { throw new Error(at + '(args 侧)必须配 fields 数组(要占位的顶层参数名,如 [content])'); diff --git a/app/server/llm.js b/app/server/llm.js index d5fec81..a6328d5 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -198,16 +198,23 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) const ids = new Set(history.map(r => r.id)); for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k); } - // 裁剪预扫:① 每行距尾的 assistant 轮数(从尾往头扫);② tool_call id → function - // (result 侧规则需要反查工具名)。trimOn=false(压缩回合)或没配规则时整个跳过。 + // 裁剪预扫:① 每行距尾的 assistant 轮数(rounds)与真人回合数(turns),一趟从尾往头扫; + // ② tool_call id → function(result 侧规则需要反查工具名)。 + // turns 只数「真实用户消息」(role=user 且 type 为空):channel_note / memory_note 这类注入行 + // 不是回合边界(与 engine 立题同口径),数进去会让回合数虚高、提前裁掉本回合的内容。 + // trimOn=false(压缩回合)或没配规则时整个跳过。 const trimActive = trimOn !== false && (TRIM.argsByTool.size > 0 || TRIM.resultByTool.size > 0); const roundsAfter = new Map(); + const turnsAfter = new Map(); const callById = new Map(); if (trimActive) { let n = 0; + let t = 0; for (let i = history.length - 1; i >= 0; i--) { const r = history[i]; roundsAfter.set(r.id, n); + turnsAfter.set(r.id, t); + if (r.role === 'user' && r.type == null) t++; if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++; } if (TRIM.resultByTool.size > 0) { @@ -331,7 +338,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) } else { m.tool_calls = paired; for (const c of paired) emittedCallIds.add(c.id); - if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0); + if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0, turnsAfter.get(row.id) || 0); } } if (!m.content) delete m.content; @@ -394,7 +401,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) } } if (row.role === 'tool') { - if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter); + if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter, turnsAfter); messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content }); } else { messages.push({ role: row.role, content }); @@ -424,22 +431,26 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn) // ---------- 重负载占位裁剪(历史重放省 token) ---------- // 策略只在配置里:默认值来自 config.js 的 DEFAULTS.agent.trim.rules,config.yml 写了 // agent.trim.rules 就整体替换([] = 全关)。本模块不含任何工具名或默认阈值;未注入 = 不裁剪。 -// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」 -// ——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。 +// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮**且** ≥turns 个真人回合后,把其中 +//「可再生的重负载」——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。 +// rounds = 「后面 AI 又说了几句话」,turns = 「后面又来了几条真人消息」; +// turns:1 就是「回合内绝不裁,跨过用户回合边界才裁」(长回合里防模型反复重读同一段)。 // 只应给可再生/快照型工具开规则:占位只改发给上游的副本(DB/UI 照旧可看全量),但模型侧 // 一旦被裁就再也看不到那段内容(如 terminal 的一次性输出)。 -// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮: -// 删中间消息可让已占位行短暂复活全文(一次性断前缀缓存,与图片消费 i 0)) continue; + const rounds = Math.max(0, Math.floor(Number(r.rounds)) || 0); + const turns = Math.max(0, Math.floor(Number(r.turns)) || 0); + // 两个距离都写 0 = 规则关闭(config.js 归一化时已丢弃,这里兼容手搓 cfg) + if (rounds <= 0 && turns <= 0) continue; const rule = { rounds, + turns, minChars: Math.max(0, Math.floor(Number(r.min_chars)) || 0), fields: Array.isArray(r.fields) ? r.fields.map(String) : [], statusRe: null, @@ -463,11 +474,11 @@ function omittedMarker(size, extra) { } // args 侧占位:只洗规则点名的顶层字符串参数,其余参数原样保留(path/url 等恢复指针不动)。 // 改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。 -function trimToolCallArgs(calls, rounds) { +function trimToolCallArgs(calls, rounds, turns) { for (const c of calls || []) { if (!c || !c.function) continue; const rule = TRIM.argsByTool.get(c.function.name); - if (!rule || rounds < rule.rounds) continue; + if (!rule || rounds < rule.rounds || turns < rule.turns) continue; let args; try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; } if (!args || typeof args !== 'object' || Array.isArray(args)) continue; @@ -483,13 +494,14 @@ function trimToolCallArgs(calls, rounds) { } // result 侧占位:整段回执换单行。图片回执(blocks 非空)在上游分支里已还原成文字/图块, // 这里只处理纯文本;status_regex 可把状态码写进占位(如 fetch 的 HTTP 状态)。 -function trimToolContent(content, row, callById, roundsAfter) { +function trimToolContent(content, row, callById, roundsAfter, turnsAfter) { if (typeof content !== 'string') return content; const fn = callById.get(row.tool_call_id); const name = row.name || (fn && fn.name) || ''; const rule = TRIM.resultByTool.get(name); if (!rule) return content; if ((roundsAfter.get(row.id) || 0) < rule.rounds) return content; + if ((turnsAfter.get(row.id) || 0) < rule.turns) return content; if (content.length < rule.minChars) return content; let extra = ''; if (rule.statusRe) { diff --git a/app/server/server.js b/app/server/server.js index a9cd4a5..c9ddcea 100644 --- a/app/server/server.js +++ b/app/server/server.js @@ -21,7 +21,7 @@ log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level, llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪规则(llm.buildMessages;config agent.trim.rules) // 启动时把生效规则打出来:工具名拼错不会报错(MCP 工具要等发现后才存在),只能靠这行核对。 log.info('startup', '历史重放占位裁剪:' + (((cfg.agent && cfg.agent.trim && cfg.agent.trim.rules) || []) - .map(r => r.tool + '/' + r.side + '≥' + r.rounds + '轮').join(', ') || '关闭')); + .map(r => r.tool + '/' + r.side + '(轮≥' + r.rounds + ',回合≥' + r.turns + ')').join(', ') || '关闭')); const db = initDb(cfg.db_path); const bus = createBus(); diff --git a/docs/tool-design.md b/docs/tool-design.md index 6bb7218..02c3a3c 100644 --- a/docs/tool-design.md +++ b/docs/tool-design.md @@ -67,8 +67,10 @@ system prompt 不重复 schema 已表达的内容。 tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。 回执/参数里可能很大的内容,若**可再生**(文件在盘上可重读、页面可重抓)或只是当时快照, -可在 `agent.trim.rules` 登记历史重放占位裁剪:距尾 ≥N 个 assistant 轮后换成单行占位 -(`app/server/llm.js` 的 `setPayloadTrim`;`side: args` 点名参数、`side: result` 裁整段回执)。 +可在 `agent.trim.rules` 登记历史重放占位裁剪:同时满足「其后 ≥rounds 条 assistant 行」与 +「其后 ≥turns 条真人消息」后换成单行占位(`app/server/llm.js` 的 `setPayloadTrim`; +`side: args` 点名参数、`side: result` 裁整段回执)。`turns: 1` = 回合内不裁、跨回合才裁; +长回合里会被反复回看的内容(如 `read_file` 的分段)应配它,否则模型会把同一段重读一遍。 一次性输出(`terminal`、外部服务扣额度的生成结果等)不要登记——裁掉后模型无法恢复。 ### 九、回执形态