feat(fetch): 下载/返回双上限解耦 + offset 回合缓存续读 + SSRF 防护 + HTML 剥壳增强
- 返回窗收紧:max_bytes(下载,1MB)与 max_chars(返回,默认 12000/硬帽 64000)拆分;单次抓取上下文开销从最坏几十万 token 掉到数千 - offset 续读:超窗尾部提示全文长度与本段区间,转换后全文挂 ctx.run.fetchCache(回合级 LRU 3 条),续读纯本地切片不重抓;字节截断如实标注不完整,不承诺无效续读 - SSRF 防护(默认开):主机名解析结果含回环/私有/链路本地即拒,redirect:manual 逐跳复查至多 5 次;fetch.allow_private: true 可放行;DNS 重绑定为标注的残余风险 - htmlToMarkdown 补剥 nav/header/footer/aside/form 整块与 class/id 样板词启发式丢块,<title> 提成首行;字节截断尾 U+FFFD 去噪 - schema 增 offset/max_chars;旧 config.yml 经 deepMerge 自动获得新默认,无需迁移 - 验证:临时功能脚本 22/22(真 HTTP server 打 executeTool),dep-check 通过;smoke 的 held 超时经 stash 对照确认为既有环境问题,与本改动无关
This commit is contained in:
@@ -78,7 +78,11 @@ const DEFAULTS = {
|
||||
// 本配置文件内含密钥,只给 core 进程读,executor/wxbot 一律不挂不读。
|
||||
terminal: { default_timeout_ms: 30000, max_output_chars: 10000 },
|
||||
// fetch:timeout_ms 覆盖请求发出到 body 读完的全生命周期;max_bytes 为流式抓取字节上限(超限即断开)。
|
||||
fetch: { timeout_ms: 30000, max_bytes: 1048576 },
|
||||
// 下载与返回两上限解耦:下载不进上下文可宽松,返回默认收紧(max_chars),模型显式传 max_chars 时
|
||||
// 夹在 max_chars_hard 硬帽内;超窗尾部提示 offset,续读走 ctx.run 上的回合缓存不重抓。
|
||||
// allow_private=false 开 SSRF 防护:目标主机名解析到回环/私有/链路本地地址即拒绝(重定向逐跳复查);
|
||||
// 确需抓内网服务再显式开 true(注意 DNS 重绑定属残余风险)。
|
||||
fetch: { timeout_ms: 30000, max_bytes: 1048576, max_chars: 12000, max_chars_hard: 64000, allow_private: false },
|
||||
// auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。
|
||||
// auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源,
|
||||
// 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。
|
||||
|
||||
Reference in New Issue
Block a user