重负载占位裁剪改为配置驱动:agent.trim.rules 统一策略,默认覆盖 web_search

This commit is contained in:
2026-11-02 19:46:16 +08:00
parent dbd67ec273
commit 509d63a99b
6 changed files with 191 additions and 41 deletions
+6 -2
View File
@@ -190,8 +190,12 @@ IM 用户在实时对话,回合中插话应当“当前这步跑完就插”
- 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图
没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」——
模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。
- 占位裁剪(`agent.trim_write_rounds` / `trim_result_rounds`):距尾 ≥N 个 assistant 轮的
`write_file.content`、`fetch`/`read_file` 回执换成单行占位。**只改发给上游的副本**,DB 与 UI 不动。
- 占位裁剪(`agent.trim.rules`):距尾 ≥N 个 assistant 轮的指定工具参数(`side: args` + `fields`,
仅顶层字符串)或回执正文(`side: result`)换成单行占位。默认规则在 `config.js` 的
`DEFAULTS.agent.trim.rules`(`write_file.content` / `fetch` / `read_file` / `web_search`),
`config.yml` 写了 `trim.rules` 就整体替换(`[]` = 全关)。
**只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或只是当时快照」的工具配:
`terminal` 这类一次性输出裁掉后模型就再也看不到(规则写法见 `config.example.yml` 的 `agent.trim`)。
- `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次
常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。
- `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`)
+23 -2
View File
@@ -47,8 +47,29 @@ agent:
max_retries: 2 # 上游失败重试次数
language: "Simplified Chinese" # 强制回复语言;留空不限
auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关
trim_write_rounds: 1 # 历史重放裁剪:write_file 参数正文距尾 ≥N 个 assistant 轮换单行占位(0=关;DB/UI 不动,盘上可重读)
trim_result_rounds: 2 # fetch/read_file 回执正文距尾 ≥N 个 assistant 轮换单行占位(0=关;占位留 url/path 作恢复指针)
# 历史重放占位裁剪(省 token):某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,
# 把可再生的重负载换成单行占位再发给上游(DB/UI 不动,盘上可重读/重抓)。rounds=0 或
# 不写这条规则 = 不裁;整段 rules: [] = 全关。
# 下面是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。
# side=args 裁调用参数(fields 点名顶层字符串参数);side=result 裁整段回执正文。
# tool 用模型看到的最终工具名(MCP 重名时含 server__ 前缀)。
trim:
min_chars: 600 # 短于此长度的正文不裁(占位自身也有成本);单条规则可用 min_chars 覆盖
rules:
- tool: write_file # 参数正文只是写盘时的快照,后续 edit_file 一次就失真
side: args
fields: [content]
rounds: 1
- tool: fetch # 页面可重抓;status_regex 取第一个捕获组写进占位(YAML 用单引号,避免 \d 被当转义)
side: result
rounds: 2
status_regex: '^HTTP (\d{3})'
- tool: read_file # 文件在盘上,可重读
side: result
rounds: 2
- tool: web_search # 栈内免费搜索 MCP;可重搜,但结果会随时间变化
side: result
rounds: 2
auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动)
# 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻
+85 -3
View File
@@ -86,9 +86,18 @@ const DEFAULTS = {
// auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。
// auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源,
// 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。
// trim_write_rounds / trim_result_rounds:历史重放占位裁剪(llm.buildMessages)——write_file 参数正文 /
// fetch、read_file 回执正文距尾 ≥N 个 assistant 轮后换单行占位(DB/UI 不动,内容可再生:盘上重读/重抓);0=关。
agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim_write_rounds: 1, trim_result_rounds: 2 },
// 历史重放占位裁剪(llm.buildMessages):trim.rules 逐条声明「哪个工具、参数侧还是回执侧、
// 距尾多少个 assistant 轮后换单行占位」;只改发给上游的副本,DB/UI 不动。
// 这里是默认策略的唯一来源:config.yml 写了 trim.rules 就整体替换(写 [] = 全关)。
agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim: {
min_chars: 600,
rules: [
{ tool: 'write_file', side: 'args', fields: ['content'], rounds: 1 },
{ tool: 'fetch', side: 'result', rounds: 2, status_regex: '^HTTP (\\d{3})' },
{ tool: 'read_file', side: 'result', rounds: 2 },
{ tool: 'web_search', side: 'result', rounds: 2 },
],
} },
// 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。
// paste_to_file_threshold_chars:粘贴文本超过该字符数时前端转成 .txt 附件,0 = 关闭。
upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10, paste_to_file_threshold_chars: 2000 },
@@ -236,10 +245,83 @@ function normalizePlatforms(rawPlatforms, profileNames) {
return out;
}
// ---------- 历史重放的重负载占位裁剪(agent.trim) ----------
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」
// 换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。
// 只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数
// 只是快照;terminal 输出是一次性的,裁掉模型就永久看不到了。
const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'fields', 'min_chars', 'status_regex']);
function toNonNegInt(v, d) {
const n = Math.floor(Number(v));
return Number.isFinite(n) ? Math.max(0, n) : d;
}
// 单条规则校验:未知字段直接报错(拼错静默忽略 = 以为省了 token 其实没省)。
function normalizeTrimRule(r, i, defMinChars) {
const at = 'agent.trim.rules[' + i + ']';
if (!r || typeof r !== 'object' || Array.isArray(r)) throw new Error(at + ' 必须是对象');
for (const k of Object.keys(r)) {
if (!TRIM_RULE_KEYS.has(k)) {
throw new Error(at + ' 含未知字段:' + k + '(可用:' + Array.from(TRIM_RULE_KEYS).join(' / ') + ')');
}
}
const tool = String(r.tool == null ? '' : r.tool).trim();
if (!tool) throw new Error(at + ' 缺少 tool(填模型看到的最终工具名,MCP 重名时含 server__ 前缀)');
const side = String(r.side == null ? '' : r.side).trim();
if (side !== 'args' && side !== 'result') {
throw new Error(at + '.side 只能是 args(裁调用参数)/ result(裁回执正文),收到:' + side);
}
// rounds=0 = 该条规则关闭;直接丢掉,不留空规则。
const rounds = toNonNegInt(r.rounds, 0);
if (rounds <= 0) return null;
const out = { tool, side, rounds, min_chars: toNonNegInt(r.min_chars, defMinChars) };
if (side === 'args') {
if (!Array.isArray(r.fields) || !r.fields.length) {
throw new Error(at + '(args 侧)必须配 fields 数组(要占位的顶层参数名,如 [content])');
}
out.fields = r.fields.map(x => String(x).trim()).filter(Boolean);
if (!out.fields.length) throw new Error(at + '(args 侧)fields 不能为空');
} else if (r.fields !== undefined) {
throw new Error(at + '.fields 只适用于 args 侧(result 侧整段正文替换,无需点名字段)');
}
if (r.status_regex !== undefined && r.status_regex !== null && String(r.status_regex).trim()) {
if (side !== 'result') throw new Error(at + '.status_regex 只适用于 result 侧');
const src = String(r.status_regex);
try { new RegExp(src); } catch (_) { throw new Error(at + '.status_regex 不是合法正则:' + src); }
out.status_regex = src;
}
return out;
}
// agent.trim 归一:默认值来自 DEFAULTS.agent.trim.rules(唯一来源),config.yml 写了 rules
// 就整体替换([] = 全关)。归一结果直接写回 cfg.agent.trim.rules,不再另造 trim_rules 键。
function normalizeAgentTrim(cfg) {
// 拷一份再改:无 agent 段时 cfg.agent 与 DEFAULTS.agent 是同一引用,直接写会污染默认值
// (配置页反复校验时上一份的 trim 会漏给下一份)。
const a = Object.assign({}, cfg.agent || {});
cfg.agent = a;
const trim = (a.trim && typeof a.trim === 'object' && !Array.isArray(a.trim)) ? a.trim : {};
const defMinChars = toNonNegInt(trim.min_chars, DEFAULTS.agent.trim.min_chars);
// undefined / null 都是「没配」,回落到 DEFAULTS(deepMerge 通常已把默认数组带进来,
// 这里兜住 agent.trim: null 这类显式空值);显式 [] 才是全关。
const rawRules = (trim.rules === undefined || trim.rules === null) ? DEFAULTS.agent.trim.rules : trim.rules;
if (!Array.isArray(rawRules)) throw new Error('agent.trim.rules 必须是数组');
const rules = rawRules.map((r, i) => normalizeTrimRule(r, i, defMinChars)).filter(Boolean);
const seen = new Set();
for (const r of rules) {
const k = r.side + '\u0000' + r.tool;
if (seen.has(k)) throw new Error('agent.trim.rules 重复声明同一工具同一侧:' + r.tool + '(' + r.side + ')');
seen.add(k);
}
a.trim = Object.assign({}, trim, { min_chars: defMinChars, rules });
}
// 校验原始配置文本(启动读文件与网页编辑共用)。configPath 仅记录来源,可为空。
function parseAndValidate(rawText, configPath) {
let raw = YAML.parse(rawText || '') || {};
const cfg = deepMerge(DEFAULTS, raw);
normalizeAgentTrim(cfg);
// ---------- 模型配置:platforms 层级(platforms[].models[] + platforms[].keys[])----------
// models 提到平台层(与 url/type 同级),多 key 共用同一份 models。
+68 -33
View File
@@ -199,8 +199,8 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k);
}
// 裁剪预扫:① 每行距尾的 assistant 轮数(从尾往头扫);② tool_call id → function
// (给 fetch/read_file 占位回填 url/path)。trimOn=false 时整个跳过(压缩回合)。
const trimActive = trimOn !== false && (TRIM.writeRounds > 0 || TRIM.resultRounds > 0);
// (result 侧规则需要反查工具名)。trimOn=false(压缩回合)或没配规则时整个跳过。
const trimActive = trimOn !== false && (TRIM.argsByTool.size > 0 || TRIM.resultByTool.size > 0);
const roundsAfter = new Map();
const callById = new Map();
if (trimActive) {
@@ -210,7 +210,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
roundsAfter.set(r.id, n);
if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++;
}
if (TRIM.resultRounds > 0) {
if (TRIM.resultByTool.size > 0) {
for (const r of history) {
if (r.role !== 'assistant' || !r.tool_calls) continue;
try { for (const c of JSON.parse(r.tool_calls) || []) if (c && c.id && c.function) callById.set(c.id, c.function); } catch (_) {}
@@ -331,7 +331,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
} else {
m.tool_calls = paired;
for (const c of paired) emittedCallIds.add(c.id);
if (trimActive && TRIM.writeRounds > 0) trimWriteCalls(m.tool_calls, roundsAfter.get(row.id) || 0);
if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0);
}
}
if (!m.content) delete m.content;
@@ -422,46 +422,81 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
}
// ---------- 重负载占位裁剪(历史重放省 token) ----------
// fetch/read_file 回执与 write_file 参数正文是重放里最贵的存量,且都可再生:文件在盘上、
// 页面可重抓;write 参数只是当时快照(后续 edit_file 一次就失真,本就不该被当现势引用)。
// 组装请求时对「距尾 ≥N 个 assistant 轮」的行换单行占位:纯函数、DB 不动(UI 工具卡照旧
// 可展全量)、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮:
// 策略只在配置里:默认值来自 config.js 的 DEFAULTS.agent.trim.rules,config.yml 写了
// agent.trim.rules 就整体替换([] = 全关)。本模块不含任何工具名或默认阈值;未注入 = 不裁剪。
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」
// ——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。
// 只应给可再生/快照型工具开规则:占位只改发给上游的副本(DB/UI 照旧可看全量),但模型侧
// 一旦被裁就再也看不到那段内容(如 terminal 的一次性输出)。
// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮:
// 删中间消息可让已占位行短暂复活全文(一次性断前缀缓存,与图片消费 i<lastAck 同一
// 语义,接受)。阈值可配(config agent.trim_write_rounds / trim_result_rounds,0=关),
// 启动时 setPayloadTrim 注入。
let TRIM = { writeRounds: 1, resultRounds: 2 };
const TRIM_MIN_CHARS = 600; // 短正文不裁:占位行自身成本接近原文,裁了反而胀
function setPayloadTrim(agentCfg) {
const a = agentCfg || {};
const toN = (v, d) => { const n = Math.floor(Number(v)); return Number.isFinite(n) ? Math.max(0, n) : d; };
TRIM = { writeRounds: toN(a.trim_write_rounds, 1), resultRounds: toN(a.trim_result_rounds, 2) };
// 语义,接受)。
function compileTrimRules(rules) {
const argsByTool = new Map();
const resultByTool = new Map();
for (const r of rules || []) {
if (!r || !r.tool) continue;
const rounds = Math.floor(Number(r.rounds));
if (!(rounds > 0)) continue;
const rule = {
rounds,
minChars: Math.max(0, Math.floor(Number(r.min_chars)) || 0),
fields: Array.isArray(r.fields) ? r.fields.map(String) : [],
statusRe: null,
};
if (r.side === 'result' && r.status_regex) {
try { rule.statusRe = new RegExp(String(r.status_regex)); } catch (_) { /* config.js 已校验 */ }
}
if (r.side === 'args') argsByTool.set(String(r.tool), rule);
else if (r.side === 'result') resultByTool.set(String(r.tool), rule);
}
return { argsByTool, resultByTool };
}
// write_file 参数占位:只洗 content。AI 友好记号风格:键值对、不写整句——path 不必重复,
// 本条 arguments 里就还在;改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。
function trimWriteCalls(calls, rounds) {
if (rounds < TRIM.writeRounds) return;
let TRIM = compileTrimRules([]);
function setPayloadTrim(agentCfg) {
const trim = (agentCfg && agentCfg.trim && typeof agentCfg.trim === 'object' && !Array.isArray(agentCfg.trim))
? agentCfg.trim : {};
TRIM = compileTrimRules(Array.isArray(trim.rules) ? trim.rules : []);
}
function omittedMarker(size, extra) {
return '[OMITTED' + (extra || '') + ', size=' + size + ']';
}
// args 侧占位:只洗规则点名的顶层字符串参数,其余参数原样保留(path/url 等恢复指针不动)。
// 改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。
function trimToolCallArgs(calls, rounds) {
for (const c of calls || []) {
if (!c || !c.function || c.function.name !== 'write_file') continue;
if (!c || !c.function) continue;
const rule = TRIM.argsByTool.get(c.function.name);
if (!rule || rounds < rule.rounds) continue;
let args;
try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; }
if (!args || typeof args.content !== 'string' || args.content.length < TRIM_MIN_CHARS) continue;
args.content = '[OMITTED, size=' + args.content.length + ']';
c.function.arguments = JSON.stringify(args);
if (!args || typeof args !== 'object' || Array.isArray(args)) continue;
let changed = false;
for (const f of rule.fields) {
const v = args[f];
if (typeof v !== 'string' || v.length < rule.minChars) continue;
args[f] = omittedMarker(v.length);
changed = true;
}
if (changed) c.function.arguments = JSON.stringify(args);
}
}
// fetch/read_file 回执占位:同款键值记号。url/path 不进占位——发起调用的 assistant 行仍载着
// 它们,参数本身就是恢复指针。图片回执(blocks 非空)不碰:已有自己的消费省略逻辑。
// result 侧占位:整段回执换单行。图片回执(blocks 非空)在上游分支里已还原成文字/图块,
// 这里只处理纯文本;status_regex 可把状态码写进占位(如 fetch 的 HTTP 状态)。
function trimToolContent(content, row, callById, roundsAfter) {
if (TRIM.resultRounds <= 0 || content.length < TRIM_MIN_CHARS) return content;
if ((roundsAfter.get(row.id) || 0) < TRIM.resultRounds) return content;
if (typeof content !== 'string') return content;
const fn = callById.get(row.tool_call_id);
const name = row.name || (fn && fn.name) || '';
if (name !== 'fetch' && name !== 'read_file') return content;
if (name === 'fetch') {
const hm = /^HTTP (\d{3})/.exec(content);
return '[OMITTED' + (hm ? ', http_status=' + hm[1] : '') + ', size=' + content.length + ']';
const rule = TRIM.resultByTool.get(name);
if (!rule) return content;
if ((roundsAfter.get(row.id) || 0) < rule.rounds) return content;
if (content.length < rule.minChars) return content;
let extra = '';
if (rule.statusRe) {
const m = rule.statusRe.exec(content);
if (m && m[1]) extra = ', http_status=' + m[1];
}
return '[OMITTED, size=' + content.length + ']';
return omittedMarker(content.length, extra);
}
// 拼压缩回合的 messages(参考 titleMessages 的拼法):默认 system prompt + 正常历史
+4 -1
View File
@@ -18,7 +18,10 @@ const log = require('./log');
const cfg = loadConfig(process.env.AGENT_CONFIG);
log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level,重启生效)
llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪阈值(llm.buildMessages;config agent.trim_*)
llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪规则(llm.buildMessages;config agent.trim.rules)
// 启动时把生效规则打出来:工具名拼错不会报错(MCP 工具要等发现后才存在),只能靠这行核对。
log.info('startup', '历史重放占位裁剪:' + (((cfg.agent && cfg.agent.trim && cfg.agent.trim.rules) || [])
.map(r => r.tool + '/' + r.side + '≥' + r.rounds + '轮').join(', ') || '关闭'));
const db = initDb(cfg.db_path);
const bus = createBus();
+5
View File
@@ -66,6 +66,11 @@ system prompt 不重复 schema 已表达的内容。
tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。
回执/参数里可能很大的内容,若**可再生**(文件在盘上可重读、页面可重抓)或只是当时快照,
可在 `agent.trim.rules` 登记历史重放占位裁剪:距尾 ≥N 个 assistant 轮后换成单行占位
(`app/server/llm.js` 的 `setPayloadTrim`;`side: args` 点名参数、`side: result` 裁整段回执)。
一次性输出(`terminal`、外部服务扣额度的生成结果等)不要登记——裁掉后模型无法恢复。
### 九、回执形态
- **内容型**工具(`read_file` 的文本、`fetch` 的正文、`db` 的查询结果)回执就是内容本身,不要套 JSON 信封。