feat(fetch): 下载/返回双上限解耦 + offset 回合缓存续读 + SSRF 防护 + HTML 剥壳增强
- 返回窗收紧:max_bytes(下载,1MB)与 max_chars(返回,默认 12000/硬帽 64000)拆分;单次抓取上下文开销从最坏几十万 token 掉到数千 - offset 续读:超窗尾部提示全文长度与本段区间,转换后全文挂 ctx.run.fetchCache(回合级 LRU 3 条),续读纯本地切片不重抓;字节截断如实标注不完整,不承诺无效续读 - SSRF 防护(默认开):主机名解析结果含回环/私有/链路本地即拒,redirect:manual 逐跳复查至多 5 次;fetch.allow_private: true 可放行;DNS 重绑定为标注的残余风险 - htmlToMarkdown 补剥 nav/header/footer/aside/form 整块与 class/id 样板词启发式丢块,<title> 提成首行;字节截断尾 U+FFFD 去噪 - schema 增 offset/max_chars;旧 config.yml 经 deepMerge 自动获得新默认,无需迁移 - 验证:临时功能脚本 22/22(真 HTTP server 打 executeTool),dep-check 通过;smoke 的 held 超时经 stash 对照确认为既有环境问题,与本改动无关
This commit is contained in:
@@ -42,7 +42,10 @@ terminal:
|
||||
|
||||
fetch:
|
||||
timeout_ms: 30000 # 抓取总超时(ms),覆盖响应头到 body 读完
|
||||
max_bytes: 1048576 # 单次响应最多抓多少字节,超限即断开
|
||||
max_bytes: 1048576 # 单次响应最多抓多少字节,超限即断开(下载不占上下文,可宽松)
|
||||
max_chars: 12000 # 返回给模型的默认字符上限(与下载上限解耦;超窗尾部提示 offset 续读)
|
||||
max_chars_hard: 64000 # 模型显式传 max_chars 时的硬帽
|
||||
allow_private: false # SSRF 防护:false=拒抓解析到内网/回环地址的目标;确需抓内网服务才开 true
|
||||
|
||||
agent:
|
||||
temperature: 1.0 # 采样温度
|
||||
|
||||
Reference in New Issue
Block a user