Compare commits
11
Commits
dbd67ec273
...
v2.5.0
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
62e5902834 | ||
|
|
b4755ac98b | ||
|
|
df1b1787e9 | ||
|
|
03cf4b86e4 | ||
|
|
7641f5c0a7 | ||
|
|
ae8ed6bb25 | ||
|
|
3806071698 | ||
|
|
b0a8283406 | ||
|
|
cc53c117e8 | ||
|
|
10877c9723 | ||
|
|
509d63a99b |
@@ -360,6 +360,7 @@ http://<host>/p/<id>
|
|||||||
- 只由 core 进程内的工具签发,签发前校验文件在任务目录内且 `realpath` 未越界。
|
- 只由 core 进程内的工具签发,签发前校验文件在任务目录内且 `realpath` 未越界。
|
||||||
- 默认 30 分钟过期,可配置 1 分钟到 24 小时。
|
- 默认 30 分钟过期,可配置 1 分钟到 24 小时。
|
||||||
- 链接可重复使用,直到过期;服务重启后全部失效。
|
- 链接可重复使用,直到过期;服务重启后全部失效。
|
||||||
|
- 响应头按类型分开:图片(`png/jpg/webp/gif/bmp/tif/avif/ico/svg`)返回 `inline` + 对应 `image/*`,点开链接直接看图;其余类型返回 `attachment`,交给浏览器/WebView 下载(SVG 额外带 `Content-Security-Policy: sandbox`,禁止内嵌脚本)。
|
||||||
- 任何人拿到链接即可匿名访问,不要对含密钥的文件签发。
|
- 任何人拿到链接即可匿名访问,不要对含密钥的文件签发。
|
||||||
|
|
||||||
### HTTPS
|
### HTTPS
|
||||||
|
|||||||
+10
-2
@@ -190,8 +190,16 @@ IM 用户在实时对话,回合中插话应当“当前这步跑完就插”
|
|||||||
- 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图
|
- 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图
|
||||||
没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」——
|
没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」——
|
||||||
模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。
|
模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。
|
||||||
- 占位裁剪(`agent.trim_write_rounds` / `trim_result_rounds`):距尾 ≥N 个 assistant 轮的
|
- 占位裁剪(`agent.trim.rules`):指定工具的参数(`side: args` + `fields`,仅顶层字符串)或回执正文
|
||||||
`write_file.content`、`fetch`/`read_file` 回执换成单行占位。**只改发给上游的副本**,DB 与 UI 不动。
|
(`side: result`)在满足**两个距离条件**时换成单行占位:`rounds` = 其后又有几条 assistant 行
|
||||||
|
(「后面 AI 又说了几句话」)、`turns` = 其后又有几条真人消息(`role=user` 且 `type` 为空,
|
||||||
|
「后面又来了几条真人消息」)。两者是 AND,同时满足才裁;`turns: 1` = 回合内绝不裁、跨过用户
|
||||||
|
回合边界才裁——`fetch` / `read_file` / `web_search` 默认都配了它(否则长回合里模型会把同一段
|
||||||
|
反复重读,实测有回合重读同一文件 24 次);`write_file` 的参数只是快照,只配 `rounds: 1`。
|
||||||
|
默认规则在 `config.js` 的 `DEFAULTS.agent.trim.rules`(唯一来源),`config.yml` 写了 `trim.rules`
|
||||||
|
就整体替换(`[]` = 全关)。**只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或
|
||||||
|
只是当时快照」的工具配:`terminal` 这类一次性输出裁掉后模型就再也看不到
|
||||||
|
(规则写法与示例见 `config.example.yml` 的 `agent.trim`)。
|
||||||
- `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次
|
- `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次
|
||||||
常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。
|
常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。
|
||||||
- `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`)
|
- `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`)
|
||||||
|
|||||||
+37
-2
@@ -47,8 +47,43 @@ agent:
|
|||||||
max_retries: 2 # 上游失败重试次数
|
max_retries: 2 # 上游失败重试次数
|
||||||
language: "Simplified Chinese" # 强制回复语言;留空不限
|
language: "Simplified Chinese" # 强制回复语言;留空不限
|
||||||
auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关
|
auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关
|
||||||
trim_write_rounds: 1 # 历史重放裁剪:write_file 参数正文距尾 ≥N 个 assistant 轮换单行占位(0=关;DB/UI 不动,盘上可重读)
|
# 历史重放占位裁剪(省 token):把「可再生的重负载」换成单行占位再发给上游
|
||||||
trim_result_rounds: 2 # fetch/read_file 回执正文距尾 ≥N 个 assistant 轮换单行占位(0=关;占位留 url/path 作恢复指针)
|
#(DB/UI 不动,盘上可重读/重抓)。两个距离条件**同时满足**才裁:
|
||||||
|
# rounds = 这一行之后又出现了几条 AI 回复 (「后面 AI 又说了几句话」)
|
||||||
|
# turns = 这一行之后又来了几条真人消息 (「后面又来了几条真人消息」;注入行不算)
|
||||||
|
#
|
||||||
|
# 举例(rounds: 2 + turns: 1):
|
||||||
|
# 回合1:读① → 读② → 改③ → 「改好了」
|
||||||
|
# 回合2 第 1 句请求:①② 已过 2 条 AI 回复 + 1 条真人消息 → 裁成占位;
|
||||||
|
# ③ 只过了 1 条 AI 回复 → 留着
|
||||||
|
# 回合2 第 2 句请求:③ 也过了 2 条 → 裁
|
||||||
|
# 也就是说:回合内绝不会裁,回合结束后开始清;想「新回合第一句就清光」把 rounds 改成 1。
|
||||||
|
#
|
||||||
|
# rounds 与 turns 都写 0(或不写)= 该条规则关闭;整段 rules: [] = 全关。
|
||||||
|
# side=args 裁调用参数(fields 点名顶层字符串参数);side=result 裁整段回执正文。
|
||||||
|
# tool 用模型看到的最终工具名(MCP 重名时含 server__ 前缀)。
|
||||||
|
# 下面就是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。
|
||||||
|
trim:
|
||||||
|
min_chars: 600 # 短于此长度的正文不裁(占位自身也有成本);单条规则可用 min_chars 覆盖
|
||||||
|
rules:
|
||||||
|
- tool: write_file # 参数正文只是写盘时的快照,后续 edit_file 一次就失真
|
||||||
|
side: args
|
||||||
|
fields: [content]
|
||||||
|
rounds: 1
|
||||||
|
turns: 0 # 不带 turns:回合内也照裁(省的是每轮重发整个文件)
|
||||||
|
- tool: fetch # 页面可重抓;status_regex 取第一个捕获组写进占位(YAML 用单引号,避免 \d 被当转义)
|
||||||
|
side: result
|
||||||
|
rounds: 2
|
||||||
|
turns: 1 # 回合内不裁(否则同一 URL 会被反复重抓),跨回合后按 rounds 清
|
||||||
|
status_regex: '^HTTP (\d{3})'
|
||||||
|
- tool: read_file # 文件在盘上,可重读
|
||||||
|
side: result
|
||||||
|
rounds: 2
|
||||||
|
turns: 1 # 回合内不裁(否则长回合里模型会反复重读同一段)
|
||||||
|
- tool: web_search # 栈内免费搜索 MCP;可重搜,但结果会随时间变化
|
||||||
|
side: result
|
||||||
|
rounds: 2
|
||||||
|
turns: 1 # 同上;现在回执默认不截断,单条可能上万字
|
||||||
auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动)
|
auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动)
|
||||||
|
|
||||||
# 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻
|
# 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻
|
||||||
|
|||||||
+1
-1
@@ -1,6 +1,6 @@
|
|||||||
{
|
{
|
||||||
"name": "agent-app",
|
"name": "agent-app",
|
||||||
"version": "2.4.0",
|
"version": "2.5.0",
|
||||||
"description": "自用通用 Agent 系统:多模型调度 + 任务目录 + 工具调用 + H5 Web UI",
|
"description": "自用通用 Agent 系统:多模型调度 + 任务目录 + 工具调用 + H5 Web UI",
|
||||||
"main": "server/server.js",
|
"main": "server/server.js",
|
||||||
"scripts": {
|
"scripts": {
|
||||||
|
|||||||
+93
-3
@@ -86,9 +86,24 @@ const DEFAULTS = {
|
|||||||
// auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。
|
// auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。
|
||||||
// auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源,
|
// auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源,
|
||||||
// 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。
|
// 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。
|
||||||
// trim_write_rounds / trim_result_rounds:历史重放占位裁剪(llm.buildMessages)——write_file 参数正文 /
|
// 历史重放占位裁剪(llm.buildMessages):trim.rules 逐条声明「哪个工具、参数侧还是回执侧、
|
||||||
// fetch、read_file 回执正文距尾 ≥N 个 assistant 轮后换单行占位(DB/UI 不动,内容可再生:盘上重读/重抓);0=关。
|
// 距尾多远换单行占位」;只改发给上游的副本,DB/UI 不动。
|
||||||
agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim_write_rounds: 1, trim_result_rounds: 2 },
|
// 两个距离条件**同时满足**才裁:
|
||||||
|
// rounds = 这一行之后又出现了几条 assistant 行(「后面 AI 又说了几句话」)
|
||||||
|
// turns = 这一行之后又来了几条真人消息(role=user 且 type 为空,「后面又来了几条真人消息」)
|
||||||
|
// 所以 turns:1 = 回合内绝不裁、跨过用户回合边界才裁(避免长回合里模型反复重读同一个文件)。
|
||||||
|
// 这里是默认策略的唯一来源:config.yml 写了 trim.rules 就整体替换(写 [] = 全关)。
|
||||||
|
agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim: {
|
||||||
|
min_chars: 600,
|
||||||
|
rules: [
|
||||||
|
// 参数正文只是写盘时的快照:不带 turns,回合内也照裁(省的是每轮重发整个文件)
|
||||||
|
{ tool: 'write_file', side: 'args', fields: ['content'], rounds: 1 },
|
||||||
|
// 回执可再生(页面可重抓 / 文件可重读 / 可重搜):turns:1 保证同一回合内不裁,回合结束后按 rounds 兜底
|
||||||
|
{ tool: 'fetch', side: 'result', rounds: 2, turns: 1, status_regex: '^HTTP (\\d{3})' },
|
||||||
|
{ tool: 'read_file', side: 'result', rounds: 2, turns: 1 },
|
||||||
|
{ tool: 'web_search', side: 'result', rounds: 2, turns: 1 },
|
||||||
|
],
|
||||||
|
} },
|
||||||
// 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。
|
// 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。
|
||||||
// paste_to_file_threshold_chars:粘贴文本超过该字符数时前端转成 .txt 附件,0 = 关闭。
|
// paste_to_file_threshold_chars:粘贴文本超过该字符数时前端转成 .txt 附件,0 = 关闭。
|
||||||
upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10, paste_to_file_threshold_chars: 2000 },
|
upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10, paste_to_file_threshold_chars: 2000 },
|
||||||
@@ -236,10 +251,85 @@ function normalizePlatforms(rawPlatforms, profileNames) {
|
|||||||
return out;
|
return out;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// ---------- 历史重放的重负载占位裁剪(agent.trim) ----------
|
||||||
|
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮、且 ≥turns 个真人回合后,
|
||||||
|
// 把其中「可再生的重负载」换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。
|
||||||
|
// rounds = 「后面 AI 又说了几句话」;turns = 「后面又来了几条真人消息」(type 为空的 user 行)。
|
||||||
|
// 两者同时满足才裁。只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数
|
||||||
|
// 只是快照;terminal 输出是一次性的,裁掉模型就永久看不到了。
|
||||||
|
const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'turns', 'fields', 'min_chars', 'status_regex']);
|
||||||
|
|
||||||
|
function toNonNegInt(v, d) {
|
||||||
|
const n = Math.floor(Number(v));
|
||||||
|
return Number.isFinite(n) ? Math.max(0, n) : d;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 单条规则校验:未知字段直接报错(拼错静默忽略 = 以为省了 token 其实没省)。
|
||||||
|
function normalizeTrimRule(r, i, defMinChars) {
|
||||||
|
const at = 'agent.trim.rules[' + i + ']';
|
||||||
|
if (!r || typeof r !== 'object' || Array.isArray(r)) throw new Error(at + ' 必须是对象');
|
||||||
|
for (const k of Object.keys(r)) {
|
||||||
|
if (!TRIM_RULE_KEYS.has(k)) {
|
||||||
|
throw new Error(at + ' 含未知字段:' + k + '(可用:' + Array.from(TRIM_RULE_KEYS).join(' / ') + ')');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
const tool = String(r.tool == null ? '' : r.tool).trim();
|
||||||
|
if (!tool) throw new Error(at + ' 缺少 tool(填模型看到的最终工具名,MCP 重名时含 server__ 前缀)');
|
||||||
|
const side = String(r.side == null ? '' : r.side).trim();
|
||||||
|
if (side !== 'args' && side !== 'result') {
|
||||||
|
throw new Error(at + '.side 只能是 args(裁调用参数)/ result(裁回执正文),收到:' + side);
|
||||||
|
}
|
||||||
|
// rounds / turns 都是「距尾多远」,同时满足才裁;两个都写 0(或不写)= 该条规则关闭,直接丢掉,不留空规则。
|
||||||
|
const rounds = toNonNegInt(r.rounds, 0);
|
||||||
|
const turns = toNonNegInt(r.turns, 0);
|
||||||
|
if (rounds <= 0 && turns <= 0) return null;
|
||||||
|
const out = { tool, side, rounds, turns, min_chars: toNonNegInt(r.min_chars, defMinChars) };
|
||||||
|
if (side === 'args') {
|
||||||
|
if (!Array.isArray(r.fields) || !r.fields.length) {
|
||||||
|
throw new Error(at + '(args 侧)必须配 fields 数组(要占位的顶层参数名,如 [content])');
|
||||||
|
}
|
||||||
|
out.fields = r.fields.map(x => String(x).trim()).filter(Boolean);
|
||||||
|
if (!out.fields.length) throw new Error(at + '(args 侧)fields 不能为空');
|
||||||
|
} else if (r.fields !== undefined) {
|
||||||
|
throw new Error(at + '.fields 只适用于 args 侧(result 侧整段正文替换,无需点名字段)');
|
||||||
|
}
|
||||||
|
if (r.status_regex !== undefined && r.status_regex !== null && String(r.status_regex).trim()) {
|
||||||
|
if (side !== 'result') throw new Error(at + '.status_regex 只适用于 result 侧');
|
||||||
|
const src = String(r.status_regex);
|
||||||
|
try { new RegExp(src); } catch (_) { throw new Error(at + '.status_regex 不是合法正则:' + src); }
|
||||||
|
out.status_regex = src;
|
||||||
|
}
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
|
||||||
|
// agent.trim 归一:默认值来自 DEFAULTS.agent.trim.rules(唯一来源),config.yml 写了 rules
|
||||||
|
// 就整体替换([] = 全关)。归一结果直接写回 cfg.agent.trim.rules,不再另造 trim_rules 键。
|
||||||
|
function normalizeAgentTrim(cfg) {
|
||||||
|
// 拷一份再改:无 agent 段时 cfg.agent 与 DEFAULTS.agent 是同一引用,直接写会污染默认值
|
||||||
|
// (配置页反复校验时上一份的 trim 会漏给下一份)。
|
||||||
|
const a = Object.assign({}, cfg.agent || {});
|
||||||
|
cfg.agent = a;
|
||||||
|
const trim = (a.trim && typeof a.trim === 'object' && !Array.isArray(a.trim)) ? a.trim : {};
|
||||||
|
const defMinChars = toNonNegInt(trim.min_chars, DEFAULTS.agent.trim.min_chars);
|
||||||
|
// undefined / null 都是「没配」,回落到 DEFAULTS(deepMerge 通常已把默认数组带进来,
|
||||||
|
// 这里兜住 agent.trim: null 这类显式空值);显式 [] 才是全关。
|
||||||
|
const rawRules = (trim.rules === undefined || trim.rules === null) ? DEFAULTS.agent.trim.rules : trim.rules;
|
||||||
|
if (!Array.isArray(rawRules)) throw new Error('agent.trim.rules 必须是数组');
|
||||||
|
const rules = rawRules.map((r, i) => normalizeTrimRule(r, i, defMinChars)).filter(Boolean);
|
||||||
|
const seen = new Set();
|
||||||
|
for (const r of rules) {
|
||||||
|
const k = r.side + '\u0000' + r.tool;
|
||||||
|
if (seen.has(k)) throw new Error('agent.trim.rules 重复声明同一工具同一侧:' + r.tool + '(' + r.side + ')');
|
||||||
|
seen.add(k);
|
||||||
|
}
|
||||||
|
a.trim = Object.assign({}, trim, { min_chars: defMinChars, rules });
|
||||||
|
}
|
||||||
|
|
||||||
// 校验原始配置文本(启动读文件与网页编辑共用)。configPath 仅记录来源,可为空。
|
// 校验原始配置文本(启动读文件与网页编辑共用)。configPath 仅记录来源,可为空。
|
||||||
function parseAndValidate(rawText, configPath) {
|
function parseAndValidate(rawText, configPath) {
|
||||||
let raw = YAML.parse(rawText || '') || {};
|
let raw = YAML.parse(rawText || '') || {};
|
||||||
const cfg = deepMerge(DEFAULTS, raw);
|
const cfg = deepMerge(DEFAULTS, raw);
|
||||||
|
normalizeAgentTrim(cfg);
|
||||||
|
|
||||||
// ---------- 模型配置:platforms 层级(platforms[].models[] + platforms[].keys[])----------
|
// ---------- 模型配置:platforms 层级(platforms[].models[] + platforms[].keys[])----------
|
||||||
// models 提到平台层(与 url/type 同级),多 key 共用同一份 models。
|
// models 提到平台层(与 url/type 同级),多 key 共用同一份 models。
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
// 单文件下载响应的公共实现:任务文件的浏览器下载(routes/files.js)与公网临时文件
|
// 单文件下载 / 内联响应的公共实现:任务文件的浏览器下载(routes/files.js)、公网临时文件
|
||||||
// (routes/public-files.js)共用,避免两处各写一套文件名/缓存策略。
|
// (routes/public-files.js)共用,避免两处各写一套文件名/缓存策略。
|
||||||
'use strict';
|
'use strict';
|
||||||
|
|
||||||
@@ -9,13 +9,37 @@ const path = require('path');
|
|||||||
// 老 AOSP DownloadManager 的正则解析失败而改从 URL 猜名(download.pdf)。
|
// 老 AOSP DownloadManager 的正则解析失败而改从 URL 猜名(download.pdf)。
|
||||||
// 这里传统 filename= 直接放百分号编码的 UTF-8:朴素解析器解码后能得到真名,
|
// 这里传统 filename= 直接放百分号编码的 UTF-8:朴素解析器解码后能得到真名,
|
||||||
// 标准客户端照旧优先 filename*(RFC 5987)。
|
// 标准客户端照旧优先 filename*(RFC 5987)。
|
||||||
function downloadDisposition(name) {
|
function contentDisposition(name, type) {
|
||||||
const legacy = encodeURIComponent(name);
|
const legacy = encodeURIComponent(name);
|
||||||
// RFC 5987 attr-char 不含 ' ( ) ! *,ext-value 里需额外编码
|
// RFC 5987 attr-char 不含 ' ( ) ! *,ext-value 里需额外编码
|
||||||
const ext = legacy.replace(/['()!*]/g, function (c) {
|
const ext = legacy.replace(/['()!*]/g, function (c) {
|
||||||
return '%' + c.charCodeAt(0).toString(16).toUpperCase();
|
return '%' + c.charCodeAt(0).toString(16).toUpperCase();
|
||||||
});
|
});
|
||||||
return 'attachment; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
|
return type + '; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
|
||||||
|
}
|
||||||
|
|
||||||
|
function downloadDisposition(name) {
|
||||||
|
return contentDisposition(name, 'attachment');
|
||||||
|
}
|
||||||
|
|
||||||
|
// 内联图片判定:只看扩展名,不读文件头——公网端点不做内容嗅探,也不该为了“猜类型”整包读文件。
|
||||||
|
// svg 也算:浏览器只有拿到 image/svg+xml 才会渲染而不是下载(脚本风险由下面的 CSP sandbox 兜住)。
|
||||||
|
const INLINE_IMAGE_TYPES = new Map([
|
||||||
|
['.png', 'image/png'],
|
||||||
|
['.jpg', 'image/jpeg'],
|
||||||
|
['.jpeg', 'image/jpeg'],
|
||||||
|
['.webp', 'image/webp'],
|
||||||
|
['.gif', 'image/gif'],
|
||||||
|
['.bmp', 'image/bmp'],
|
||||||
|
['.tif', 'image/tiff'],
|
||||||
|
['.tiff', 'image/tiff'],
|
||||||
|
['.avif', 'image/avif'],
|
||||||
|
['.ico', 'image/x-icon'],
|
||||||
|
['.svg', 'image/svg+xml'],
|
||||||
|
]);
|
||||||
|
|
||||||
|
function inlineImageType(abs) {
|
||||||
|
return INLINE_IMAGE_TYPES.get(path.extname(String(abs || '')).toLowerCase()) || null;
|
||||||
}
|
}
|
||||||
|
|
||||||
// 下载统一响应:禁用一切缓存协商。
|
// 下载统一响应:禁用一切缓存协商。
|
||||||
@@ -23,12 +47,32 @@ function downloadDisposition(name) {
|
|||||||
// 先发条件请求拿 304 空体,下载管理器随后卡在“等待中”(桌面 Safari/curl 不受影响)。
|
// 先发条件请求拿 304 空体,下载管理器随后卡在“等待中”(桌面 Safari/curl 不受影响)。
|
||||||
// 不能用 res.download:它会用 content-disposition 包覆盖上面的文件名策略;
|
// 不能用 res.download:它会用 content-disposition 包覆盖上面的文件名策略;
|
||||||
// res.sendFile 不设置 Content-Disposition,Content-Type 按扩展名自动出,Range 由 send 支持。
|
// res.sendFile 不设置 Content-Disposition,Content-Type 按扩展名自动出,Range 由 send 支持。
|
||||||
function sendDownload(res, abs) {
|
function noStore(res) {
|
||||||
res.setHeader('Cache-Control', 'no-store, no-cache, must-revalidate');
|
res.setHeader('Cache-Control', 'no-store, no-cache, must-revalidate');
|
||||||
res.setHeader('Pragma', 'no-cache');
|
res.setHeader('Pragma', 'no-cache');
|
||||||
res.setHeader('Expires', '0');
|
res.setHeader('Expires', '0');
|
||||||
|
}
|
||||||
|
|
||||||
|
function sendDownload(res, abs) {
|
||||||
|
noStore(res);
|
||||||
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
|
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
|
||||||
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
|
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
|
||||||
}
|
}
|
||||||
|
|
||||||
module.exports = { downloadDisposition, sendDownload };
|
// 内联图片响应(公网链 GET /p/<id> 的图片分支):点开链接直接显示,不再被当成附件下载。
|
||||||
|
// 安卓封装壳 / WebView 对 attachment 一律交系统下载器,图片外链因此“只下载、不打开”;
|
||||||
|
// inline + 明确的 image/* 才走渲染路径。缓存仍 no-store:/p/<id> 是短命 bearer 链,
|
||||||
|
// 不该被中间缓存留副本(与下载同语义)。
|
||||||
|
function sendInlineImage(res, abs, type) {
|
||||||
|
noStore(res);
|
||||||
|
res.setHeader('Content-Type', type);
|
||||||
|
res.setHeader('X-Content-Type-Options', 'nosniff');
|
||||||
|
res.setHeader('Content-Disposition', contentDisposition(path.basename(abs), 'inline'));
|
||||||
|
// SVG 是唯一能带脚本的“图片”,而 /p/ 是匿名同源端点:直接打开会以本应用身份执行脚本。
|
||||||
|
// sandbox 不给 allow-scripts,退化成不可执行、无同源权限的文档;<img> 引用本就不执行脚本,不受影响。
|
||||||
|
if (type === 'image/svg+xml') res.setHeader('Content-Security-Policy', 'sandbox');
|
||||||
|
// dotfiles 显式放行:read_file 的压缩产物在 .imgcache/(点目录),默认策略对其他调用方不保证。
|
||||||
|
res.sendFile(abs, { dotfiles: 'allow', lastModified: false, etag: false, maxAge: 0 });
|
||||||
|
}
|
||||||
|
|
||||||
|
module.exports = { contentDisposition, downloadDisposition, sendDownload, sendInlineImage, inlineImageType };
|
||||||
|
|||||||
+84
-37
@@ -198,19 +198,26 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
|
|||||||
const ids = new Set(history.map(r => r.id));
|
const ids = new Set(history.map(r => r.id));
|
||||||
for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k);
|
for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k);
|
||||||
}
|
}
|
||||||
// 裁剪预扫:① 每行距尾的 assistant 轮数(从尾往头扫);② tool_call id → function
|
// 裁剪预扫:① 每行距尾的 assistant 轮数(rounds)与真人回合数(turns),一趟从尾往头扫;
|
||||||
// (给 fetch/read_file 占位回填 url/path)。trimOn=false 时整个跳过(压缩回合)。
|
// ② tool_call id → function(result 侧规则需要反查工具名)。
|
||||||
const trimActive = trimOn !== false && (TRIM.writeRounds > 0 || TRIM.resultRounds > 0);
|
// turns 只数「真实用户消息」(role=user 且 type 为空):channel_note / memory_note 这类注入行
|
||||||
|
// 不是回合边界(与 engine 立题同口径),数进去会让回合数虚高、提前裁掉本回合的内容。
|
||||||
|
// trimOn=false(压缩回合)或没配规则时整个跳过。
|
||||||
|
const trimActive = trimOn !== false && (TRIM.argsByTool.size > 0 || TRIM.resultByTool.size > 0);
|
||||||
const roundsAfter = new Map();
|
const roundsAfter = new Map();
|
||||||
|
const turnsAfter = new Map();
|
||||||
const callById = new Map();
|
const callById = new Map();
|
||||||
if (trimActive) {
|
if (trimActive) {
|
||||||
let n = 0;
|
let n = 0;
|
||||||
|
let t = 0;
|
||||||
for (let i = history.length - 1; i >= 0; i--) {
|
for (let i = history.length - 1; i >= 0; i--) {
|
||||||
const r = history[i];
|
const r = history[i];
|
||||||
roundsAfter.set(r.id, n);
|
roundsAfter.set(r.id, n);
|
||||||
|
turnsAfter.set(r.id, t);
|
||||||
|
if (r.role === 'user' && r.type == null) t++;
|
||||||
if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++;
|
if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++;
|
||||||
}
|
}
|
||||||
if (TRIM.resultRounds > 0) {
|
if (TRIM.resultByTool.size > 0) {
|
||||||
for (const r of history) {
|
for (const r of history) {
|
||||||
if (r.role !== 'assistant' || !r.tool_calls) continue;
|
if (r.role !== 'assistant' || !r.tool_calls) continue;
|
||||||
try { for (const c of JSON.parse(r.tool_calls) || []) if (c && c.id && c.function) callById.set(c.id, c.function); } catch (_) {}
|
try { for (const c of JSON.parse(r.tool_calls) || []) if (c && c.id && c.function) callById.set(c.id, c.function); } catch (_) {}
|
||||||
@@ -331,7 +338,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
|
|||||||
} else {
|
} else {
|
||||||
m.tool_calls = paired;
|
m.tool_calls = paired;
|
||||||
for (const c of paired) emittedCallIds.add(c.id);
|
for (const c of paired) emittedCallIds.add(c.id);
|
||||||
if (trimActive && TRIM.writeRounds > 0) trimWriteCalls(m.tool_calls, roundsAfter.get(row.id) || 0);
|
if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0, turnsAfter.get(row.id) || 0);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
if (!m.content) delete m.content;
|
if (!m.content) delete m.content;
|
||||||
@@ -394,7 +401,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
if (row.role === 'tool') {
|
if (row.role === 'tool') {
|
||||||
if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter);
|
if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter, turnsAfter);
|
||||||
messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content });
|
messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content });
|
||||||
} else {
|
} else {
|
||||||
messages.push({ role: row.role, content });
|
messages.push({ role: row.role, content });
|
||||||
@@ -422,46 +429,86 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
|
|||||||
}
|
}
|
||||||
|
|
||||||
// ---------- 重负载占位裁剪(历史重放省 token) ----------
|
// ---------- 重负载占位裁剪(历史重放省 token) ----------
|
||||||
// fetch/read_file 回执与 write_file 参数正文是重放里最贵的存量,且都可再生:文件在盘上、
|
// 策略只在配置里:默认值来自 config.js 的 DEFAULTS.agent.trim.rules,config.yml 写了
|
||||||
// 页面可重抓;write 参数只是当时快照(后续 edit_file 一次就失真,本就不该被当现势引用)。
|
// agent.trim.rules 就整体替换([] = 全关)。本模块不含任何工具名或默认阈值;未注入 = 不裁剪。
|
||||||
// 组装请求时对「距尾 ≥N 个 assistant 轮」的行换单行占位:纯函数、DB 不动(UI 工具卡照旧
|
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮**且** ≥turns 个真人回合后,把其中
|
||||||
// 可展全量)、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮:
|
//「可再生的重负载」——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。
|
||||||
// 删中间消息可让已占位行短暂复活全文(一次性断前缀缓存,与图片消费 i<lastAck 同一
|
// rounds = 「后面 AI 又说了几句话」,turns = 「后面又来了几条真人消息」;
|
||||||
// 语义,接受)。阈值可配(config agent.trim_write_rounds / trim_result_rounds,0=关),
|
// turns:1 就是「回合内绝不裁,跨过用户回合边界才裁」(长回合里防模型反复重读同一段)。
|
||||||
// 启动时 setPayloadTrim 注入。
|
// 只应给可再生/快照型工具开规则:占位只改发给上游的副本(DB/UI 照旧可看全量),但模型侧
|
||||||
let TRIM = { writeRounds: 1, resultRounds: 2 };
|
// 一旦被裁就再也看不到那段内容(如 terminal 的一次性输出)。
|
||||||
const TRIM_MIN_CHARS = 600; // 短正文不裁:占位行自身成本接近原文,裁了反而胀
|
// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数:删中间消息可让已占位行
|
||||||
function setPayloadTrim(agentCfg) {
|
// 短暂复活全文(一次性断前缀缓存,与图片消费 i<lastAck 同一语义,接受)。
|
||||||
const a = agentCfg || {};
|
function compileTrimRules(rules) {
|
||||||
const toN = (v, d) => { const n = Math.floor(Number(v)); return Number.isFinite(n) ? Math.max(0, n) : d; };
|
const argsByTool = new Map();
|
||||||
TRIM = { writeRounds: toN(a.trim_write_rounds, 1), resultRounds: toN(a.trim_result_rounds, 2) };
|
const resultByTool = new Map();
|
||||||
|
for (const r of rules || []) {
|
||||||
|
if (!r || !r.tool) continue;
|
||||||
|
const rounds = Math.max(0, Math.floor(Number(r.rounds)) || 0);
|
||||||
|
const turns = Math.max(0, Math.floor(Number(r.turns)) || 0);
|
||||||
|
// 两个距离都写 0 = 规则关闭(config.js 归一化时已丢弃,这里兼容手搓 cfg)
|
||||||
|
if (rounds <= 0 && turns <= 0) continue;
|
||||||
|
const rule = {
|
||||||
|
rounds,
|
||||||
|
turns,
|
||||||
|
minChars: Math.max(0, Math.floor(Number(r.min_chars)) || 0),
|
||||||
|
fields: Array.isArray(r.fields) ? r.fields.map(String) : [],
|
||||||
|
statusRe: null,
|
||||||
|
};
|
||||||
|
if (r.side === 'result' && r.status_regex) {
|
||||||
|
try { rule.statusRe = new RegExp(String(r.status_regex)); } catch (_) { /* config.js 已校验 */ }
|
||||||
|
}
|
||||||
|
if (r.side === 'args') argsByTool.set(String(r.tool), rule);
|
||||||
|
else if (r.side === 'result') resultByTool.set(String(r.tool), rule);
|
||||||
|
}
|
||||||
|
return { argsByTool, resultByTool };
|
||||||
}
|
}
|
||||||
// write_file 参数占位:只洗 content。AI 友好记号风格:键值对、不写整句——path 不必重复,
|
let TRIM = compileTrimRules([]);
|
||||||
// 本条 arguments 里就还在;改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。
|
function setPayloadTrim(agentCfg) {
|
||||||
function trimWriteCalls(calls, rounds) {
|
const trim = (agentCfg && agentCfg.trim && typeof agentCfg.trim === 'object' && !Array.isArray(agentCfg.trim))
|
||||||
if (rounds < TRIM.writeRounds) return;
|
? agentCfg.trim : {};
|
||||||
|
TRIM = compileTrimRules(Array.isArray(trim.rules) ? trim.rules : []);
|
||||||
|
}
|
||||||
|
function omittedMarker(size, extra) {
|
||||||
|
return '[OMITTED' + (extra || '') + ', size=' + size + ']';
|
||||||
|
}
|
||||||
|
// args 侧占位:只洗规则点名的顶层字符串参数,其余参数原样保留(path/url 等恢复指针不动)。
|
||||||
|
// 改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。
|
||||||
|
function trimToolCallArgs(calls, rounds, turns) {
|
||||||
for (const c of calls || []) {
|
for (const c of calls || []) {
|
||||||
if (!c || !c.function || c.function.name !== 'write_file') continue;
|
if (!c || !c.function) continue;
|
||||||
|
const rule = TRIM.argsByTool.get(c.function.name);
|
||||||
|
if (!rule || rounds < rule.rounds || turns < rule.turns) continue;
|
||||||
let args;
|
let args;
|
||||||
try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; }
|
try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; }
|
||||||
if (!args || typeof args.content !== 'string' || args.content.length < TRIM_MIN_CHARS) continue;
|
if (!args || typeof args !== 'object' || Array.isArray(args)) continue;
|
||||||
args.content = '[OMITTED, size=' + args.content.length + ']';
|
let changed = false;
|
||||||
c.function.arguments = JSON.stringify(args);
|
for (const f of rule.fields) {
|
||||||
|
const v = args[f];
|
||||||
|
if (typeof v !== 'string' || v.length < rule.minChars) continue;
|
||||||
|
args[f] = omittedMarker(v.length);
|
||||||
|
changed = true;
|
||||||
|
}
|
||||||
|
if (changed) c.function.arguments = JSON.stringify(args);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
// fetch/read_file 回执占位:同款键值记号。url/path 不进占位——发起调用的 assistant 行仍载着
|
// result 侧占位:整段回执换单行。图片回执(blocks 非空)在上游分支里已还原成文字/图块,
|
||||||
// 它们,参数本身就是恢复指针。图片回执(blocks 非空)不碰:已有自己的消费省略逻辑。
|
// 这里只处理纯文本;status_regex 可把状态码写进占位(如 fetch 的 HTTP 状态)。
|
||||||
function trimToolContent(content, row, callById, roundsAfter) {
|
function trimToolContent(content, row, callById, roundsAfter, turnsAfter) {
|
||||||
if (TRIM.resultRounds <= 0 || content.length < TRIM_MIN_CHARS) return content;
|
if (typeof content !== 'string') return content;
|
||||||
if ((roundsAfter.get(row.id) || 0) < TRIM.resultRounds) return content;
|
|
||||||
const fn = callById.get(row.tool_call_id);
|
const fn = callById.get(row.tool_call_id);
|
||||||
const name = row.name || (fn && fn.name) || '';
|
const name = row.name || (fn && fn.name) || '';
|
||||||
if (name !== 'fetch' && name !== 'read_file') return content;
|
const rule = TRIM.resultByTool.get(name);
|
||||||
if (name === 'fetch') {
|
if (!rule) return content;
|
||||||
const hm = /^HTTP (\d{3})/.exec(content);
|
if ((roundsAfter.get(row.id) || 0) < rule.rounds) return content;
|
||||||
return '[OMITTED' + (hm ? ', http_status=' + hm[1] : '') + ', size=' + content.length + ']';
|
if ((turnsAfter.get(row.id) || 0) < rule.turns) return content;
|
||||||
|
if (content.length < rule.minChars) return content;
|
||||||
|
let extra = '';
|
||||||
|
if (rule.statusRe) {
|
||||||
|
const m = rule.statusRe.exec(content);
|
||||||
|
if (m && m[1]) extra = ', http_status=' + m[1];
|
||||||
}
|
}
|
||||||
return '[OMITTED, size=' + content.length + ']';
|
return omittedMarker(content.length, extra);
|
||||||
}
|
}
|
||||||
|
|
||||||
// 拼压缩回合的 messages(参考 titleMessages 的拼法):默认 system prompt + 正常历史
|
// 拼压缩回合的 messages(参考 titleMessages 的拼法):默认 system prompt + 正常历史
|
||||||
|
|||||||
+17
-2
@@ -42,10 +42,25 @@
|
|||||||
{
|
{
|
||||||
"key": "web_search",
|
"key": "web_search",
|
||||||
"label": "网页搜索",
|
"label": "网页搜索",
|
||||||
"desc": "栈内搜索服务,无需密钥",
|
"desc": "内置免费搜索,也可接自建 /search",
|
||||||
"url": "http://mcp_web_search:3000/",
|
"url": "http://mcp_web_search:3000/",
|
||||||
"mode": "advertise",
|
"mode": "advertise",
|
||||||
"fields": []
|
"fields": [
|
||||||
|
{
|
||||||
|
"header": "Authorization",
|
||||||
|
"label": "鉴权",
|
||||||
|
"secret": true,
|
||||||
|
"prefix": "Bearer ",
|
||||||
|
"placeholder": "API Key",
|
||||||
|
"hint": "免费后端留空"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"header": "X-Web-Search-Base-Url",
|
||||||
|
"label": "地址",
|
||||||
|
"placeholder": "https://<host>/v1",
|
||||||
|
"hint": "留空用免费后端"
|
||||||
|
}
|
||||||
|
]
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "image_task",
|
"key": "image_task",
|
||||||
|
|||||||
@@ -440,7 +440,11 @@ footer { position: relative; flex: none; padding: 8px 12px calc(10px + var(--sab
|
|||||||
|
|
||||||
/* 录音期间:输入卡内容整体让位给遮罩(遮罩不再透光,按钮/文字留着会和提示叠字) */
|
/* 录音期间:输入卡内容整体让位给遮罩(遮罩不再透光,按钮/文字留着会和提示叠字) */
|
||||||
body.voice-active .input-shell { border-color: transparent; box-shadow: none; }
|
body.voice-active .input-shell { border-color: transparent; box-shadow: none; }
|
||||||
body.voice-active .input-shell > *:not(#voice-overlay) { visibility: hidden; }
|
/* #voice-hold 不能一起藏:它是 pointerdown 时 setPointerCapture 的持有者,一按下就变成
|
||||||
|
visibility:hidden 时鸿蒙 ArkWeb 会释放捕获并补一个 pointercancel,页面把它当成“松手”
|
||||||
|
→ 按住不到 500ms → 误报“说话时间太短”。遮罩覆盖这一段本来就不透明(var(--page)),
|
||||||
|
留着按住区视觉上没有差别。 */
|
||||||
|
body.voice-active .input-shell > *:not(#voice-overlay):not(#voice-hold) { visibility: hidden; }
|
||||||
body.voice-active .attach-chips { visibility: hidden; }
|
body.voice-active .attach-chips { visibility: hidden; }
|
||||||
body.voice-active .scroll-bottom-btn { display: none; }
|
body.voice-active .scroll-bottom-btn { display: none; }
|
||||||
|
|
||||||
|
|||||||
+122
-11
@@ -36,6 +36,9 @@
|
|||||||
const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制)
|
const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制)
|
||||||
const MIN_MS = 500; // 短于这个时长按误触处理,不上传
|
const MIN_MS = 500; // 短于这个时长按误触处理,不上传
|
||||||
const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败)
|
const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败)
|
||||||
|
// 转写请求的并发上限:段一碎(6s 软切)并发就会很多,全放出去会把上游压垮、
|
||||||
|
// 也可能被限流。超过就排到后面,等前面的落定再发。改完刷新页面即生效。
|
||||||
|
const ASR_MAX_CONCURRENCY = 3;
|
||||||
const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算
|
const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算
|
||||||
const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到)
|
const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到)
|
||||||
|
|
||||||
@@ -73,10 +76,18 @@
|
|||||||
// 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传
|
// 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传
|
||||||
let pcmRate = 16000; // 当前流的采样率(契约要求 16k)
|
let pcmRate = 16000; // 当前流的采样率(契约要求 16k)
|
||||||
let segChunks = []; // 当前段的 PCM 分片(Int16Array)
|
let segChunks = []; // 当前段的 PCM 分片(Int16Array)
|
||||||
|
let segLens = []; // 各分片采样数(与 segChunks 平行:软切要按采样换算边界)
|
||||||
|
let segDbs = []; // 各分片峰值 dB(与 segChunks 平行:软切要找能量最低的边界)
|
||||||
let segLen = 0; // 当前段总采样数
|
let segLen = 0; // 当前段总采样数
|
||||||
let silLen = 0; // 段尾连续静音采样数
|
let silLen = 0; // 段尾连续静音采样数
|
||||||
let textParts = []; // 各段识别结果(按顺序)
|
let textParts = []; // 各段识别结果,按提交顺序占位(并行返回是乱序的)
|
||||||
let chain = Promise.resolve(); // 串行上传链:保证拼接顺序 = 说话顺序
|
let segSent = 0; // 本轮已提交转写的段数(进度分母)
|
||||||
|
let segDone = 0; // 已返回(含失败)的段数(进度分子)
|
||||||
|
let busyTimer = null; // 「识别中」提示的秒表(1s 一跳)
|
||||||
|
let busyStartAt = 0;
|
||||||
|
let inflight = []; // 本轮各段的落定 promise(收口要等全它们)
|
||||||
|
let waiting = []; // 等名额的段(在飞满了才排)
|
||||||
|
let active = 0; // 正在飞的请求数
|
||||||
let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃
|
let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃
|
||||||
let streamOn = false; // 是否接受 PCM 分片
|
let streamOn = false; // 是否接受 PCM 分片
|
||||||
let flushTimer = null;
|
let flushTimer = null;
|
||||||
@@ -86,6 +97,8 @@
|
|||||||
const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关)
|
const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关)
|
||||||
const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉
|
const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉
|
||||||
const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限)
|
const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限)
|
||||||
|
const VAD_SOFT_CUT_SEC = 6; // 累计语音超过这么久 → 在低能量处先切一刀发出去
|
||||||
|
const VAD_SOFT_WINDOW_SEC = 3; // 软切只在尾部这个窗口里找切点(不切在很久以前)
|
||||||
|
|
||||||
// 电平与渲染
|
// 电平与渲染
|
||||||
let rafId = 0;
|
let rafId = 0;
|
||||||
@@ -115,10 +128,35 @@
|
|||||||
if (overlay) overlay.classList.toggle('cancel', m === 'cancel');
|
if (overlay) overlay.classList.toggle('cancel', m === 'cancel');
|
||||||
if (hintEl) {
|
if (hintEl) {
|
||||||
hintEl.textContent = m === 'cancel' ? '松开取消'
|
hintEl.textContent = m === 'cancel' ? '松开取消'
|
||||||
: m === 'busy' ? '正在识别…' : '松手传送,上滑取消';
|
: m === 'busy' ? busyHintText() : '松手传送,上滑取消';
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 「识别中」的进度提示:段数是真实进度(一段一次转写),秒数让长时间等待时数字也在动,
|
||||||
|
// 不至于看着像卡住。只有一段时不显示 0/1(那看着也像没进展),只留秒数。
|
||||||
|
function busyHintText() {
|
||||||
|
const sec = Math.max(0, Math.floor((Date.now() - busyStartAt) / 1000));
|
||||||
|
if (segSent > 1) {
|
||||||
|
return '正在识别 ' + Math.min(segDone, segSent) + '/' + segSent + ' 段 · ' + sec + 's';
|
||||||
|
}
|
||||||
|
return '正在识别… ' + sec + 's';
|
||||||
|
}
|
||||||
|
|
||||||
|
function refreshBusyHint() {
|
||||||
|
if (hintEl && phase === 'busy') hintEl.textContent = busyHintText();
|
||||||
|
}
|
||||||
|
|
||||||
|
function stopBusyTicker() {
|
||||||
|
if (busyTimer) { clearInterval(busyTimer); busyTimer = null; }
|
||||||
|
}
|
||||||
|
|
||||||
|
function startBusyTicker() {
|
||||||
|
stopBusyTicker();
|
||||||
|
busyStartAt = Date.now();
|
||||||
|
refreshBusyHint();
|
||||||
|
busyTimer = setInterval(refreshBusyHint, 1000);
|
||||||
|
}
|
||||||
|
|
||||||
function renderBars(level, animate) {
|
function renderBars(level, animate) {
|
||||||
if (!bars.length) return;
|
if (!bars.length) return;
|
||||||
const t = Date.now() / 1000;
|
const t = Date.now() / 1000;
|
||||||
@@ -260,6 +298,7 @@
|
|||||||
pressing = false;
|
pressing = false;
|
||||||
pressY = 0;
|
pressY = 0;
|
||||||
discard = false;
|
discard = false;
|
||||||
|
stopBusyTicker();
|
||||||
abortStream();
|
abortStream();
|
||||||
if (stopTimer) { clearTimeout(stopTimer); stopTimer = null; }
|
if (stopTimer) { clearTimeout(stopTimer); stopTimer = null; }
|
||||||
hold.classList.remove('recording');
|
hold.classList.remove('recording');
|
||||||
@@ -302,6 +341,8 @@
|
|||||||
if (phase !== 'idle') return;
|
if (phase !== 'idle') return;
|
||||||
pressing = true;
|
pressing = true;
|
||||||
discard = false;
|
discard = false;
|
||||||
|
segSent = 0;
|
||||||
|
segDone = 0;
|
||||||
hold.classList.add('recording');
|
hold.classList.add('recording');
|
||||||
setHoldText('松开 结束');
|
setHoldText('松开 结束');
|
||||||
showOverlay();
|
showOverlay();
|
||||||
@@ -312,6 +353,7 @@
|
|||||||
phase = 'recording';
|
phase = 'recording';
|
||||||
recordStartAt = Date.now();
|
recordStartAt = Date.now();
|
||||||
gen++; // 新会话:让上一轮迟到的结果全部失效
|
gen++; // 新会话:让上一轮迟到的结果全部失效
|
||||||
|
inflight = []; // 上一轮的在途请求不再计入本轮收口
|
||||||
streamOn = true;
|
streamOn = true;
|
||||||
pcmRate = 16000;
|
pcmRate = 16000;
|
||||||
clearSeg();
|
clearSeg();
|
||||||
@@ -349,6 +391,7 @@
|
|||||||
gen++;
|
gen++;
|
||||||
pcmRate = OUT_RATE;
|
pcmRate = OUT_RATE;
|
||||||
streamOn = true;
|
streamOn = true;
|
||||||
|
inflight = [];
|
||||||
clearSeg();
|
clearSeg();
|
||||||
textParts = [];
|
textParts = [];
|
||||||
if (!startCapture()) {
|
if (!startCapture()) {
|
||||||
@@ -371,7 +414,7 @@
|
|||||||
phase = 'busy';
|
phase = 'busy';
|
||||||
hold.classList.remove('recording');
|
hold.classList.remove('recording');
|
||||||
setHoldText(discard ? '按住 说话' : '正在识别…');
|
setHoldText(discard ? '按住 说话' : '正在识别…');
|
||||||
// 遮罩留着,文案换成「正在识别…」;柱子停在低位,等结果回来再收
|
// 遮罩留着,文案换成动态识别进度;柱子停在低位,等结果回来再收
|
||||||
setOverlayMode(discard ? 'send' : 'busy');
|
setOverlayMode(discard ? 'send' : 'busy');
|
||||||
stopMeter();
|
stopMeter();
|
||||||
|
|
||||||
@@ -387,6 +430,7 @@
|
|||||||
// 两条路收口完全一样:把不足一个停顿的尾巴发走(纯静音的尾巴不发),再等所有段回来。
|
// 两条路收口完全一样:把不足一个停顿的尾巴发走(纯静音的尾巴不发),再等所有段回来。
|
||||||
// 大部分段在说话过程中已经识别完了,这里通常只等最后一段。
|
// 大部分段在说话过程中已经识别完了,这里通常只等最后一段。
|
||||||
flushTail();
|
flushTail();
|
||||||
|
startBusyTicker(); // 尾巴已进队列:现在才有准确的总段数,从这一刻开始计时
|
||||||
if (native) {
|
if (native) {
|
||||||
try {
|
try {
|
||||||
native.stopVoice();
|
native.stopVoice();
|
||||||
@@ -535,7 +579,39 @@
|
|||||||
return out;
|
return out;
|
||||||
}
|
}
|
||||||
|
|
||||||
function clearSeg() { segChunks = []; segLen = 0; silLen = 0; }
|
function clearSeg() { segChunks = []; segLens = []; segDbs = []; segLen = 0; silLen = 0; }
|
||||||
|
|
||||||
|
// 长说不停顿是最慢的路径:没有 0.5s 停顿就一段都发不出去,只能憋到松手整段上传。
|
||||||
|
// 所以累计语音到 VAD_SOFT_CUT_SEC 后,在尾部窗口里挑能量最低的分片边界先切一刀,
|
||||||
|
// 后面的继续累积。真静音切点依然优先(更自然),这里只解决「一直说个没完」。
|
||||||
|
function softCutChunk() {
|
||||||
|
const win = Math.floor(pcmRate * VAD_SOFT_WINDOW_SEC);
|
||||||
|
let from = segChunks.length - 1; // 窗口起点分片下标
|
||||||
|
let acc = 0;
|
||||||
|
for (let i = segChunks.length - 1; i >= 0; i--) {
|
||||||
|
acc += segLens[i];
|
||||||
|
from = i;
|
||||||
|
if (acc >= win) break;
|
||||||
|
}
|
||||||
|
let best = from;
|
||||||
|
for (let i = from + 1; i < segChunks.length; i++) {
|
||||||
|
if (segDbs[i] < segDbs[best]) best = i;
|
||||||
|
}
|
||||||
|
// 切在 best 之前(前 best 片发走);best 为 0 说明没有可切的前缀
|
||||||
|
return best > 0 ? best : -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 从段头取走前 k 个分片发出去,剩下的留在缓冲里继续累积
|
||||||
|
function softCut(k) {
|
||||||
|
let n = 0;
|
||||||
|
for (let i = 0; i < k; i++) n += segLens[i];
|
||||||
|
emitSegment(n);
|
||||||
|
segChunks = segChunks.slice(k);
|
||||||
|
segLens = segLens.slice(k);
|
||||||
|
segDbs = segDbs.slice(k);
|
||||||
|
segLen -= n;
|
||||||
|
if (silLen > segLen) silLen = segLen; // 切点落在尾巴的静音里时,静音计数不能超过剩余长度
|
||||||
|
}
|
||||||
|
|
||||||
// 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。
|
// 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。
|
||||||
// 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。
|
// 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。
|
||||||
@@ -544,19 +620,43 @@
|
|||||||
emit(encodeWav(takeSeg(n), pcmRate));
|
emit(encodeWav(takeSeg(n), pcmRate));
|
||||||
}
|
}
|
||||||
|
|
||||||
// 串行上传:一段没回来不发下一段(2 vCPU 上并发只会互相拖慢,而且顺序也没法保证)
|
// 每段切出来就发,不等上一段回来,但同时最多 ASR_MAX_CONCURRENCY 个。
|
||||||
|
// 名额是「谁落定谁交出去」,不按固定顺序等某一段:否则最慢那段会卡住本可以发的后续段。
|
||||||
|
// 并行返回是乱序的,所以结果按「提交时的下标」落位,拼接时仍按说话顺序。
|
||||||
function emit(blob) {
|
function emit(blob) {
|
||||||
const my = gen;
|
const my = gen;
|
||||||
chain = chain.then(function () {
|
const idx = segSent++; // 分母:已提交的段数,同时是这一段结果的落位下标
|
||||||
if (my !== gen) return; // 已取消/重录:不再发
|
const p = acquire().then(function () {
|
||||||
|
if (my !== gen) { release(); return; } // 已取消/重录:名额还回去,别再发
|
||||||
return req('POST', '/api/asr/transcribe', blob, true, 120000)
|
return req('POST', '/api/asr/transcribe', blob, true, 120000)
|
||||||
.then(function (r) {
|
.then(function (r) {
|
||||||
if (my !== gen) return;
|
if (my !== gen) return;
|
||||||
const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim();
|
const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim();
|
||||||
if (t) textParts.push(t);
|
if (t) textParts[idx] = t;
|
||||||
})
|
})
|
||||||
.catch(function () { /* 单段失败不连坐,其余段照常出字 */ });
|
.catch(function () {
|
||||||
|
/* 单段失败不连坐,其余段照常出字;失败也算走完一段,进度才不会停在半路 */
|
||||||
|
})
|
||||||
|
.then(function () {
|
||||||
|
release(); // 不论成败都先腾名额
|
||||||
|
if (my !== gen) return;
|
||||||
|
segDone++;
|
||||||
|
refreshBusyHint();
|
||||||
|
});
|
||||||
});
|
});
|
||||||
|
inflight.push(p);
|
||||||
|
}
|
||||||
|
|
||||||
|
// 名额:没满直接拿;满了就排队,任一请求落定后把名额交给下一个(不按固定顺序)
|
||||||
|
function acquire() {
|
||||||
|
if (active < ASR_MAX_CONCURRENCY) { active++; return Promise.resolve(); }
|
||||||
|
return new Promise(function (res) { waiting.push(res); });
|
||||||
|
}
|
||||||
|
|
||||||
|
function release() {
|
||||||
|
const next = waiting.shift();
|
||||||
|
if (next) next(); // 名额直接转交,active 不变
|
||||||
|
else active--;
|
||||||
}
|
}
|
||||||
|
|
||||||
// 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格,
|
// 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格,
|
||||||
@@ -576,6 +676,7 @@
|
|||||||
streamOn = false;
|
streamOn = false;
|
||||||
clearSeg();
|
clearSeg();
|
||||||
textParts = [];
|
textParts = [];
|
||||||
|
inflight = [];
|
||||||
gen++;
|
gen++;
|
||||||
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
||||||
}
|
}
|
||||||
@@ -595,6 +696,8 @@
|
|||||||
startLoop();
|
startLoop();
|
||||||
|
|
||||||
segChunks.push(pcm);
|
segChunks.push(pcm);
|
||||||
|
segLens.push(pcm.length);
|
||||||
|
segDbs.push(db);
|
||||||
segLen += pcm.length;
|
segLen += pcm.length;
|
||||||
// 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义)
|
// 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义)
|
||||||
silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0;
|
silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0;
|
||||||
@@ -608,6 +711,10 @@
|
|||||||
// 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限)
|
// 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限)
|
||||||
emitSegment(segLen);
|
emitSegment(segLen);
|
||||||
clearSeg();
|
clearSeg();
|
||||||
|
} else if (segLen >= pcmRate * VAD_SOFT_CUT_SEC) {
|
||||||
|
// 说太久又没停顿:先在能量最低处切一刀(软切),别把整段憋到松手或 25s 硬切
|
||||||
|
const k = softCutChunk();
|
||||||
|
if (k > 0) softCut(k);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -636,7 +743,11 @@
|
|||||||
resetUI();
|
resetUI();
|
||||||
toast('语音识别超时');
|
toast('语音识别超时');
|
||||||
}, FLUSH_MS);
|
}, FLUSH_MS);
|
||||||
chain = chain.then(function () {
|
// 并行发之后没有串行链可挂:等本轮全部段落定(含被限流挡着的)再收口。
|
||||||
|
// 逐个兜一层 catch:只要有一个 Promise 意外 reject,Promise.all 就整批失败,
|
||||||
|
// 收口逻辑永远不跑,只能等 60s 超时把已识别的内容全部丢掉。
|
||||||
|
const all = inflight.map(function (p) { return p.catch(function () {}); });
|
||||||
|
Promise.all(all).then(function () {
|
||||||
if (my !== gen) return;
|
if (my !== gen) return;
|
||||||
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
||||||
const text = joinText(textParts);
|
const text = joinText(textParts);
|
||||||
|
|||||||
@@ -50,8 +50,12 @@ self.addEventListener('fetch', (event) => {
|
|||||||
// 只处理同源
|
// 只处理同源
|
||||||
if (url.origin !== self.location.origin) return;
|
if (url.origin !== self.location.origin) return;
|
||||||
|
|
||||||
// 跳过 API/SSE/预览/交付取件,避免缓存动态数据(预览页需实时;/f/ 同链内容会随重新 save 变化)
|
// 跳过 API/SSE/预览/交付取件,避免缓存动态数据(预览页需实时;/f/ 同链内容会随重新 save 变化)。
|
||||||
if (url.pathname.startsWith('/api/') || url.pathname.startsWith('/sse') || url.pathname.startsWith('/preview') || url.pathname.startsWith('/f/')) return;
|
// /p/ 是公网短链(图片/文件直链):内容是二进制、带 TTL 的 bearer 能力,既不能当 HTML 文本重建,
|
||||||
|
// 也不该进缓存。漏掉它时点开图片外链会先被“导航”分支 fetch 两次、再按文本重建,结果是一张坏图,
|
||||||
|
// 日志里表现为每点一次成对出现两条 public-file 取用记录。
|
||||||
|
if (url.pathname.startsWith('/api/') || url.pathname.startsWith('/sse') || url.pathname.startsWith('/preview')
|
||||||
|
|| url.pathname.startsWith('/f/') || url.pathname.startsWith('/p/')) return;
|
||||||
|
|
||||||
// vendor 预览页发出的根绝对请求(fetch('/') 自刷新、EventSource('/events') 等,Referer 是预览页):
|
// vendor 预览页发出的根绝对请求(fetch('/') 自刷新、EventSource('/events') 等,Referer 是预览页):
|
||||||
// 内容随文档变化,既不缓存,也不能把 office 文档页写进 '/' 这类 SPA 缓存键。
|
// 内容随文档变化,既不缓存,也不能把 office 文档页写进 '/' 这类 SPA 缓存键。
|
||||||
@@ -73,6 +77,9 @@ self.addEventListener('fetch', (event) => {
|
|||||||
try {
|
try {
|
||||||
const resp = await fetch(request);
|
const resp = await fetch(request);
|
||||||
if (!resp.ok || resp.type !== 'basic') return resp;
|
if (!resp.ok || resp.type !== 'basic') return resp;
|
||||||
|
// 非 HTML 的导航(图片/PDF 等直链):二进制不能按文本重建,原样透传;
|
||||||
|
// 否则 resp.text() 会把像素解成替换字符,页面只剩空白/乱码。
|
||||||
|
if (!/text\/html/i.test(resp.headers.get('content-type') || '')) return resp;
|
||||||
last = { txt: await resp.text(), resp };
|
last = { txt: await resp.text(), resp };
|
||||||
} catch (e) {
|
} catch (e) {
|
||||||
if (last) break; // 已有残破快照:降级返回它
|
if (last) break; // 已有残破快照:降级返回它
|
||||||
|
|||||||
@@ -7,6 +7,10 @@
|
|||||||
// 3. 只吐"签发时已校验过、且落在该会话任务目录内"的文件,这里再用 resolveInTask 复核一次。
|
// 3. 只吐"签发时已校验过、且落在该会话任务目录内"的文件,这里再用 resolveInTask 复核一次。
|
||||||
//
|
//
|
||||||
// 挂在 auth.middleware **之前**(server.js),所以登录与否都能访问;未命中一律 404,不吐内部信息。
|
// 挂在 auth.middleware **之前**(server.js),所以登录与否都能访问;未命中一律 404,不吐内部信息。
|
||||||
|
//
|
||||||
|
// 响应头按扩展名分两路:图片(png/jpg/webp/gif/.../svg)走 inline + 明确 image/*,
|
||||||
|
// 用户或外部服务点开链接就能直接看图;其余一律 attachment,交给下载器
|
||||||
|
// (安卓封装壳的 DownloadManager 只认 attachment,下载语义不能改)。
|
||||||
'use strict';
|
'use strict';
|
||||||
|
|
||||||
const fs = require('fs');
|
const fs = require('fs');
|
||||||
@@ -14,7 +18,7 @@ const express = require('express');
|
|||||||
const engine = require('../engine');
|
const engine = require('../engine');
|
||||||
const publicFiles = require('../public-files');
|
const publicFiles = require('../public-files');
|
||||||
const { resolveInTask } = require('../tools/executor');
|
const { resolveInTask } = require('../tools/executor');
|
||||||
const { sendDownload } = require('../download-send');
|
const { sendDownload, sendInlineImage, inlineImageType } = require('../download-send');
|
||||||
const log = require('../log');
|
const log = require('../log');
|
||||||
|
|
||||||
const router = express.Router();
|
const router = express.Router();
|
||||||
@@ -31,7 +35,12 @@ router.get('/:id', function (req, res) {
|
|||||||
return res.status(404).type('text/plain').send('not found\n');
|
return res.status(404).type('text/plain').send('not found\n');
|
||||||
}
|
}
|
||||||
|
|
||||||
log.info('public-file', entry.sessionId + ' 外部取用:' + entry.rel);
|
// 图片单独走 inline:用户点开 /p/<id> 是要看图,不是要下载文件。安卓封装壳 / WebView
|
||||||
|
// 对 Content-Disposition: attachment 一律交系统下载器,图片外链因此“只下载、不打开”。
|
||||||
|
// 其余类型保持原下载语义(PDF/Office 等交给下载器或外部服务自己处理)。
|
||||||
|
const imgType = inlineImageType(abs);
|
||||||
|
log.info('public-file', entry.sessionId + ' 外部取用' + (imgType ? '(图片,inline)' : '(附件)') + ':' + entry.rel);
|
||||||
|
if (imgType) return sendInlineImage(res, abs, imgType);
|
||||||
sendDownload(res, abs);
|
sendDownload(res, abs);
|
||||||
});
|
});
|
||||||
|
|
||||||
|
|||||||
@@ -15,7 +15,7 @@ const router = express.Router();
|
|||||||
const STARTED_AT = Date.now();
|
const STARTED_AT = Date.now();
|
||||||
// 版本以本文件字面量为准:容器部署只挂载 app/server,镜像里的 package.json 可能是旧的,
|
// 版本以本文件字面量为准:容器部署只挂载 app/server,镜像里的 package.json 可能是旧的,
|
||||||
// 读它会一直显示发版时的版本号(之前 2.1.0 改完仍显 2.0.0 即此因)。发版时记得同步这里。
|
// 读它会一直显示发版时的版本号(之前 2.1.0 改完仍显 2.0.0 即此因)。发版时记得同步这里。
|
||||||
const VERSION = '2.4.0';
|
const VERSION = '2.5.0';
|
||||||
// git 提交号单独返回(提交时 post-commit 钩子自动生成),前端只显示简洁版本号
|
// git 提交号单独返回(提交时 post-commit 钩子自动生成),前端只显示简洁版本号
|
||||||
const VERSION_COMMIT = versionInfo.commit || '';
|
const VERSION_COMMIT = versionInfo.commit || '';
|
||||||
|
|
||||||
|
|||||||
@@ -18,7 +18,10 @@ const log = require('./log');
|
|||||||
|
|
||||||
const cfg = loadConfig(process.env.AGENT_CONFIG);
|
const cfg = loadConfig(process.env.AGENT_CONFIG);
|
||||||
log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level,重启生效)
|
log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level,重启生效)
|
||||||
llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪阈值(llm.buildMessages;config agent.trim_*)
|
llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪规则(llm.buildMessages;config agent.trim.rules)
|
||||||
|
// 启动时把生效规则打出来:工具名拼错不会报错(MCP 工具要等发现后才存在),只能靠这行核对。
|
||||||
|
log.info('startup', '历史重放占位裁剪:' + (((cfg.agent && cfg.agent.trim && cfg.agent.trim.rules) || [])
|
||||||
|
.map(r => r.tool + '/' + r.side + '(轮≥' + r.rounds + ',回合≥' + r.turns + ')').join(', ') || '关闭'));
|
||||||
const db = initDb(cfg.db_path);
|
const db = initDb(cfg.db_path);
|
||||||
const bus = createBus();
|
const bus = createBus();
|
||||||
|
|
||||||
|
|||||||
@@ -66,6 +66,13 @@ system prompt 不重复 schema 已表达的内容。
|
|||||||
|
|
||||||
tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。
|
tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。
|
||||||
|
|
||||||
|
回执/参数里可能很大的内容,若**可再生**(文件在盘上可重读、页面可重抓)或只是当时快照,
|
||||||
|
可在 `agent.trim.rules` 登记历史重放占位裁剪:同时满足「其后 ≥rounds 条 assistant 行」与
|
||||||
|
「其后 ≥turns 条真人消息」后换成单行占位(`app/server/llm.js` 的 `setPayloadTrim`;
|
||||||
|
`side: args` 点名参数、`side: result` 裁整段回执)。`turns: 1` = 回合内不裁、跨回合才裁;
|
||||||
|
长回合里会被反复回看的内容(如 `read_file` 的分段)应配它,否则模型会把同一段重读一遍。
|
||||||
|
一次性输出(`terminal`、外部服务扣额度的生成结果等)不要登记——裁掉后模型无法恢复。
|
||||||
|
|
||||||
### 九、回执形态
|
### 九、回执形态
|
||||||
|
|
||||||
- **内容型**工具(`read_file` 的文本、`fetch` 的正文、`db` 的查询结果)回执就是内容本身,不要套 JSON 信封。
|
- **内容型**工具(`read_file` 的文本、`fetch` 的正文、`db` 的查询结果)回执就是内容本身,不要套 JSON 信封。
|
||||||
|
|||||||
+6
-2
@@ -22,6 +22,8 @@
|
|||||||
|
|
||||||
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
|
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
|
||||||
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
|
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
|
||||||
|
一直不停顿地长说时,累计约 6s 会在**能量最低的分片边界**先切一刀(软切)→ 同样先发出去,
|
||||||
|
否则整段只能憋到松手才上传(这是最慢的路径)。
|
||||||
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
|
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
|
||||||
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
|
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
|
||||||
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。
|
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。
|
||||||
@@ -35,7 +37,7 @@
|
|||||||
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
|
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
|
||||||
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
|
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
|
||||||
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
|
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
|
||||||
0.5s 停顿与 25s 段长都是按 16k 估算的。
|
0.5s 停顿、6s 软切与 25s 段长都是按 16k 估算的。
|
||||||
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
|
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
|
||||||
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
|
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
|
||||||
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
|
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
|
||||||
@@ -371,7 +373,9 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie
|
|||||||
```
|
```
|
||||||
|
|
||||||
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
|
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
|
||||||
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面串行发送,保证拼接顺序。
|
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面**并行**发送,
|
||||||
|
结果按提交时的下标落位,拼接仍按说话顺序(并行返回是乱序的)。
|
||||||
|
并发上限由 `voice.js` 的 `ASR_MAX_CONCURRENCY` 控制(默认 3),超出的排到后面等前面落定。
|
||||||
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
|
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
|
||||||
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
|
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
|
||||||
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。
|
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。
|
||||||
|
|||||||
+11
-2
@@ -4,7 +4,7 @@
|
|||||||
|
|
||||||
| 目录 | 容器名 | 作用 | 容器内端口 | MCP 端点 |
|
| 目录 | 容器名 | 作用 | 容器内端口 | MCP 端点 |
|
||||||
|---|---|---|---|---|
|
|---|---|---|---|---|
|
||||||
| `web_search/` | `mcp_web_search` | 免费网页搜索(Parallel / Exa,无需 key) | `3000` | `POST /` |
|
| `web_search/` | `mcp_web_search` | 网页搜索(默认免费 Parallel / Exa,可换成自建 `/search` 上游) | `3000` | `POST /` |
|
||||||
| `image_task/` | `mcp_image_task` | 图片生成 / 编辑(文生图走 `/images/generations`,图生图走 `/images/edits`,单工具 op=create/get) | `3000` | `POST /mcp` |
|
| `image_task/` | `mcp_image_task` | 图片生成 / 编辑(文生图走 `/images/generations`,图生图走 `/images/edits`,单工具 op=create/get) | `3000` | `POST /mcp` |
|
||||||
| `video_task/` | `mcp_video_task` | 智谱 CogVideo 视频生成(异步,单工具 op=create/get) | `3000` | `POST /mcp` |
|
| `video_task/` | `mcp_video_task` | 智谱 CogVideo 视频生成(异步,单工具 op=create/get) | `3000` | `POST /mcp` |
|
||||||
| `asr/` | `mcp_asr` | 语音转文字(上游 OpenAI 兼容 `/audio/transcriptions`),**额外带一个给输入框用的 `POST /transcribe`** | `3000` | `POST /mcp` |
|
| `asr/` | `mcp_asr` | 语音转文字(上游 OpenAI 兼容 `/audio/transcriptions`),**额外带一个给输入框用的 `POST /transcribe`** | `3000` | `POST /mcp` |
|
||||||
@@ -27,6 +27,10 @@ docker compose up -d --build
|
|||||||
mcp_servers:
|
mcp_servers:
|
||||||
- name: web_search
|
- name: web_search
|
||||||
url: "http://mcp_web_search:3000/"
|
url: "http://mcp_web_search:3000/"
|
||||||
|
# 可选:换成自己的搜索接口(不配 = 内置免费后端 Parallel / Exa)
|
||||||
|
# headers:
|
||||||
|
# Authorization: Bearer <key>
|
||||||
|
# X-Web-Search-Base-Url: "https://<host>/v1"
|
||||||
- name: image_task
|
- name: image_task
|
||||||
url: "http://mcp_image_task:3000/mcp"
|
url: "http://mcp_image_task:3000/mcp"
|
||||||
- name: video_task
|
- name: video_task
|
||||||
@@ -51,6 +55,11 @@ mcp_servers:
|
|||||||
上游地址与模型分别由 `X-Image-Task-Base-Url` / `X-Image-Task-Model` 指定(两者都必填)。
|
上游地址与模型分别由 `X-Image-Task-Base-Url` / `X-Image-Task-Model` 指定(两者都必填)。
|
||||||
所以这两个服务不用配任何密钥。
|
所以这两个服务不用配任何密钥。
|
||||||
|
|
||||||
|
`web_search` 同理:默认走内置免费后端(Parallel → Exa,无需 key);想换成自己的搜索接口,
|
||||||
|
就在这段 headers 里写 `X-Web-Search-Base-Url`(容器拼 `/search`)与可选的 `Authorization`。
|
||||||
|
一旦配了地址就以它为准——**失败直接报错,不会静默退回免费后端**(否则 key 过期 / 地址写错
|
||||||
|
只会表现为「结果质量突然变差」)。
|
||||||
|
|
||||||
`asr` 同理:上游的 key / base_url / model 全部由调用方随请求 header 带入
|
`asr` 同理:上游的 key / base_url / model 全部由调用方随请求 header 带入
|
||||||
(`Authorization` / `X-ASR-Base-Url` / `X-ASR-Model`,agent 侧配在 `config.yml` 的
|
(`Authorization` / `X-ASR-Base-Url` / `X-ASR-Model`,agent 侧配在 `config.yml` 的
|
||||||
`mcp_servers[name=asr].headers`)。输入框那条路(`agent-core` → `POST /transcribe`)不经过 MCP 调用,
|
`mcp_servers[name=asr].headers`)。输入框那条路(`agent-core` → `POST /transcribe`)不经过 MCP 调用,
|
||||||
@@ -85,7 +94,7 @@ AI 把拿到的 URL 当 image_url 交给 video_task:3000/mcp
|
|||||||
|
|
||||||
| 服务 | 公网暴露 | 说明 |
|
| 服务 | 公网暴露 | 说明 |
|
||||||
|---|---|---|
|
|---|---|---|
|
||||||
| `mcp_web_search` | 无 | 服务端无鉴权,**永远不要映射出去**(会被白嫖搜索额度);agent 走内网访问 |
|
| `mcp_web_search` | 无 | 服务端无鉴权,**永远不要映射出去**(会被白嫖搜索额度;配了自定义上游时还会把你的 key 白送出去);agent 走内网访问 |
|
||||||
| `mcp_image_task` | 无 | token 由调用方自带,暴露后可被拿去消耗你的上游图片额度 |
|
| `mcp_image_task` | 无 | token 由调用方自带,暴露后可被拿去消耗你的上游图片额度 |
|
||||||
| `mcp_video_task` | 无 | 它需要的公开临时 URL 由 agent 侧集成的工具提供,自己不占端口 |
|
| `mcp_video_task` | 无 | 它需要的公开临时 URL 由 agent 侧集成的工具提供,自己不占端口 |
|
||||||
| `mcp_asr` | 无 | `/mcp` 与 `/transcribe` 都无鉴权,只能由 core 经内网调用;它不存密钥(上游参数随请求带入) |
|
| `mcp_asr` | 无 | `/mcp` 与 `/transcribe` 都无鉴权,只能由 core 经内网调用;它不存密钥(上游参数随请求带入) |
|
||||||
|
|||||||
@@ -1,15 +1,49 @@
|
|||||||
# web_search
|
# web_search
|
||||||
|
|
||||||
免费网页搜索 MCP server 的本地重构版(上游开源实现:[@sheep233_/dsh-web-search-free](https://github.com/sheep-programmer/dsh-web-search-free),MIT)。
|
网页搜索 MCP server 的本地重构版(上游开源实现:[@sheep233_/dsh-web-search-free](https://github.com/sheep-programmer/dsh-web-search-free),MIT)。
|
||||||
|
|
||||||
零运行时依赖,只用 Node 内置 `fetch`(Node ≥ 18),**无需 npm install,直接 `node server.js` 启动**。
|
零运行时依赖,只用 Node 内置 `fetch`(Node ≥ 18),**无需 npm install,直接 `node server.js` 启动**。
|
||||||
|
|
||||||
|
## 三路上游
|
||||||
|
|
||||||
|
| 条件 | 走哪 | 说明 |
|
||||||
|
| --- | --- | --- |
|
||||||
|
| 请求带了 `X-Web-Search-Base-Url` | 你的 `POST {base}/search` | key 可选(`Authorization`)。**失败直接报错,不静默退回免费后端** |
|
||||||
|
| 没带 | Parallel(免费匿名) | 失败自动退 Exa |
|
||||||
|
| stdio 模式 | 只能免费 | stdio 没有 HTTP header |
|
||||||
|
|
||||||
|
自定义上游的协议:
|
||||||
|
|
||||||
|
```http
|
||||||
|
POST {base}/search
|
||||||
|
Authorization: Bearer <key>
|
||||||
|
Content-Type: application/json
|
||||||
|
|
||||||
|
{"query":"2027山东省考公告","max_results":5}
|
||||||
|
```
|
||||||
|
|
||||||
|
```json
|
||||||
|
{"query":"...","type":"text2text","results":[{"title":"...","url":"https://...","snippet":"..."}]}
|
||||||
|
```
|
||||||
|
|
||||||
|
响应归一化成 `[{url, title?, snippet?, publishedAt?}]`:`results[]` 里没有 `url` 的条目丢弃,
|
||||||
|
`snippet` 压平空白后**原样返回**(默认不截断);调用方传 `maxSnippetLength: 3000` 才会按该长度截断,
|
||||||
|
`published_at` / `publishedAt` / `publish_date` 任一存在则映射为 `publishedAt`。
|
||||||
|
|
||||||
|
## 工具参数
|
||||||
|
|
||||||
|
| 参数 | 必填 | 说明 |
|
||||||
|
| --- | --- | --- |
|
||||||
|
| `query` | 是 | 搜什么 |
|
||||||
|
| `numResults` | 否 | 返回条数,默认 8 |
|
||||||
|
| `maxSnippetLength` | 否 | 每条 `snippet` 的最大字符数;**不传 = 不截断**(上游常给整段正文,长文本请自行控预算) |
|
||||||
|
|
||||||
## 结构
|
## 结构
|
||||||
|
|
||||||
| 文件 | 职责 |
|
| 文件 | 职责 |
|
||||||
| --- | --- |
|
| --- | --- |
|
||||||
| `core.js` | 搜索后端:Parallel(默认)/ Exa(备用)免费 MCP 端点封装 + 响应解析 |
|
| `core.js` | 搜索后端:自定义 `/search` + Parallel / Exa 免费 MCP 端点封装 + 响应解析 |
|
||||||
| `mcp.js` | MCP 协议层:`web_search` 工具定义 + JSON-RPC 分发 |
|
| `mcp.js` | MCP 协议层:`web_search` 工具定义 + JSON-RPC 分发 + 从 header 取上游参数 |
|
||||||
| `server.js` | 入口:CLI 参数 + stdio / HTTP/SSE 双传输 |
|
| `server.js` | 入口:CLI 参数 + stdio / HTTP/SSE 双传输 |
|
||||||
|
|
||||||
## 本地启动
|
## 本地启动
|
||||||
@@ -33,6 +67,10 @@ MCP 端点:
|
|||||||
- `EXA_API_KEY` — 提升 Exa 匿名限额
|
- `EXA_API_KEY` — 提升 Exa 匿名限额
|
||||||
- `SEARCH_TIMEOUT_MS` — 上游搜索超时,默认 30000
|
- `SEARCH_TIMEOUT_MS` — 上游搜索超时,默认 30000
|
||||||
|
|
||||||
|
上游地址 / 鉴权**不是**环境变量:由调用方随每个请求用 header 带入(见上面「三路上游」),
|
||||||
|
agent 侧写在 `config.yml` 的 `mcp_servers[name=web_search].headers`。换接口只改 YAML + 重启 core,
|
||||||
|
不碰 `.env`、不重建镜像;容器自身不存任何平台密钥。
|
||||||
|
|
||||||
## Docker
|
## Docker
|
||||||
|
|
||||||
`docker-compose.yml` 中的 `mcp_web_search` 服务直接构建本目录,Dockerfile 已改为拷贝源码启动(不再有 `npm install -g`)。
|
`docker-compose.yml` 中的 `mcp_web_search` 服务直接构建本目录,Dockerfile 已改为拷贝源码启动(不再有 `npm install -g`)。
|
||||||
@@ -47,4 +85,4 @@ docker exec mcp_web_search node -e "fetch('http://localhost:3000/health').then(r
|
|||||||
# {"name":"web_search","version":"...","transport":"http/sse","port":3000}
|
# {"name":"web_search","version":"...","transport":"http/sse","port":3000}
|
||||||
```
|
```
|
||||||
|
|
||||||
该服务**无服务端鉴权**(上游是免费端点),**永远不要**对外映射端口——会被白嫆搜索额度。
|
该服务**无服务端鉴权**,**永远不要**对外映射端口——会被白嫖搜索额度(自定义上游时还会把你的 key 白送出去)。
|
||||||
|
|||||||
+107
-13
@@ -1,9 +1,13 @@
|
|||||||
/**
|
/**
|
||||||
* 零依赖搜索核心:Parallel(默认,匿名免 key)与 Exa(备用)两个免费后端的统一封装。
|
* 零依赖搜索核心:三路上游,统一归一化成 `{ url, title?, snippet?, publishedAt? }[]`。
|
||||||
*
|
*
|
||||||
* 只用 Node 内置 fetch,不依赖任何 npm 包。两个后端都是公开的免费 MCP 端点,
|
* - 自定义上游(`X-Web-Search-Base-Url` + `Authorization`):任意 `POST {base}/search`,
|
||||||
* 本模块以 JSON-RPC `tools/call` 的方式直接调用它们,并归一化成统一的结果结构:
|
* 请求体 `{ query, max_results }`、响应 `{ results: [{ title, url, snippet }] }`。
|
||||||
* `{ url, title?, snippet?, publishedAt? }[]`。
|
* - Parallel(免费匿名 MCP 端点,默认后端)。
|
||||||
|
* - Exa(免费 MCP 端点,Parallel 挂掉时的兜底)。
|
||||||
|
*
|
||||||
|
* 只用 Node 内置 fetch,不依赖任何 npm 包。免费侧两个后端都是公开的 MCP 端点,
|
||||||
|
* 本模块以 JSON-RPC `tools/call` 的方式直接调用它们。
|
||||||
*
|
*
|
||||||
* 上游实现参考:@sheep233_/dsh-web-search-free(github.com/sheep-programmer/dsh-web-search-free)。
|
* 上游实现参考:@sheep233_/dsh-web-search-free(github.com/sheep-programmer/dsh-web-search-free)。
|
||||||
*/
|
*/
|
||||||
@@ -13,9 +17,22 @@ export const PARALLEL_MCP_URL = 'https://search.parallel.ai/mcp';
|
|||||||
/** Exa 免费 MCP 端点(匿名可用;EXA_API_KEY 可提升限额)。 */
|
/** Exa 免费 MCP 端点(匿名可用;EXA_API_KEY 可提升限额)。 */
|
||||||
export const EXA_MCP_URL = 'https://mcp.exa.ai/mcp';
|
export const EXA_MCP_URL = 'https://mcp.exa.ai/mcp';
|
||||||
|
|
||||||
const USER_AGENT = 'web_search/1.0.0';
|
const USER_AGENT = 'web_search/1.1.0';
|
||||||
/** 单次上游搜索请求的超时,避免远端挂起拖死 MCP 请求。 */
|
/** 单次上游搜索请求的超时,避免远端挂起拖死 MCP 请求。 */
|
||||||
const REQUEST_TIMEOUT_MS = Number(process.env.SEARCH_TIMEOUT_MS ?? 30_000);
|
const REQUEST_TIMEOUT_MS = Number(process.env.SEARCH_TIMEOUT_MS ?? 30_000);
|
||||||
|
/**
|
||||||
|
* snippet 一律截断:搜索结果会进历史,之后每一轮都可能被整条重放。
|
||||||
|
* 有些上游(如自建 v1/search)的 snippet 是整段正文,不截等于白烧 token。
|
||||||
|
*/
|
||||||
|
/**
|
||||||
|
* snippet 一律压平空白;是否截断由调用方传 maxSnippetLength 决定,缺省不截断。
|
||||||
|
* 为什么默认不截:上限该由调用方按自己的上下文预算定,写死在服务里会让「换上游 = 悄悄丢内容」。
|
||||||
|
*/
|
||||||
|
export function capSnippet(text, max) {
|
||||||
|
const s = String(text == null ? '' : text).replace(/\s+/g, ' ').trim();
|
||||||
|
if (!Number.isFinite(max) || max <= 0 || s.length <= max) return s;
|
||||||
|
return s.slice(0, max) + '…';
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* 向免费 MCP 端点发一次 `tools/call`,返回工具结果里的 text 载荷。
|
* 向免费 MCP 端点发一次 `tools/call`,返回工具结果里的 text 载荷。
|
||||||
@@ -74,7 +91,7 @@ export function extractToolText(body) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Parallel 响应解析:text 是内嵌 JSON `{ results: [...] }`。 */
|
/** Parallel 响应解析:text 是内嵌 JSON `{ results: [...] }`。 */
|
||||||
export function mapParallelResponse(text) {
|
export function mapParallelResponse(text, maxSnippetLength) {
|
||||||
let payload;
|
let payload;
|
||||||
try {
|
try {
|
||||||
payload = JSON.parse(text);
|
payload = JSON.parse(text);
|
||||||
@@ -84,10 +101,11 @@ export function mapParallelResponse(text) {
|
|||||||
const sources = [];
|
const sources = [];
|
||||||
for (const item of payload.results ?? []) {
|
for (const item of payload.results ?? []) {
|
||||||
if (!item.url) continue;
|
if (!item.url) continue;
|
||||||
|
const snippet = item.excerpts?.length > 0 ? capSnippet(item.excerpts.join(' '), maxSnippetLength) : '';
|
||||||
sources.push({
|
sources.push({
|
||||||
url: item.url,
|
url: item.url,
|
||||||
...(item.title ? { title: item.title } : {}),
|
...(item.title ? { title: item.title } : {}),
|
||||||
...(item.excerpts?.length > 0 ? { snippet: item.excerpts.join(' ') } : {}),
|
...(snippet ? { snippet } : {}),
|
||||||
...(item.publish_date ? { publishedAt: item.publish_date } : {}),
|
...(item.publish_date ? { publishedAt: item.publish_date } : {}),
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
@@ -105,7 +123,7 @@ export function mapParallelResponse(text) {
|
|||||||
* <正文摘要>
|
* <正文摘要>
|
||||||
* ```
|
* ```
|
||||||
*/
|
*/
|
||||||
export function parseExaText(text) {
|
export function parseExaText(text, maxSnippetLength) {
|
||||||
const blocks = text.split(/(?=^Title: )/m).filter((block) => block.trim().length > 0);
|
const blocks = text.split(/(?=^Title: )/m).filter((block) => block.trim().length > 0);
|
||||||
const sources = [];
|
const sources = [];
|
||||||
for (const block of blocks) {
|
for (const block of blocks) {
|
||||||
@@ -114,28 +132,104 @@ export function parseExaText(text) {
|
|||||||
const title = block.match(/^Title: (.+)$/m)?.[1]?.trim();
|
const title = block.match(/^Title: (.+)$/m)?.[1]?.trim();
|
||||||
const published = block.match(/^Published: (.+)$/m)?.[1]?.trim();
|
const published = block.match(/^Published: (.+)$/m)?.[1]?.trim();
|
||||||
const highlights = block.split(/^Highlights:\s*$/m)[1]?.trim();
|
const highlights = block.split(/^Highlights:\s*$/m)[1]?.trim();
|
||||||
|
const snippet = capSnippet(highlights, maxSnippetLength);
|
||||||
sources.push({
|
sources.push({
|
||||||
url,
|
url,
|
||||||
...(title ? { title } : {}),
|
...(title ? { title } : {}),
|
||||||
...(highlights ? { snippet: highlights.slice(0, 500) } : {}),
|
...(snippet ? { snippet } : {}),
|
||||||
...(published && published !== 'N/A' ? { publishedAt: published } : {}),
|
...(published && published !== 'N/A' ? { publishedAt: published } : {}),
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
return sources;
|
return sources;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 自定义上游:`POST {base}/search`,body `{ query, max_results }`。
|
||||||
|
* 配置了地址就以它为准——失败直接抛错,不静默退回免费后端(否则 key 过期/base 写错
|
||||||
|
* 只会表现为「结果质量突然变差」,永远没人发现)。
|
||||||
|
* @param {{ auth: string, base: string }} up 由 mcp.js 从请求 header 解析(容器不存密钥)
|
||||||
|
* @param {number} [maxSnippetLength] 调用方要求的最大 snippet 长度;缺省不截断
|
||||||
|
*/
|
||||||
|
export async function customSearch(query, maxResults, up, maxSnippetLength) {
|
||||||
|
const url = up.base.replace(/\/+$/, '') + '/search';
|
||||||
|
const headers = {
|
||||||
|
'content-type': 'application/json',
|
||||||
|
'accept': 'application/json',
|
||||||
|
'user-agent': USER_AGENT,
|
||||||
|
};
|
||||||
|
// 免鉴权的自建服务可省;有值才带,避免给上游塞一个空 Authorization 反而被拒
|
||||||
|
if (up.auth) headers.authorization = up.auth;
|
||||||
|
let response;
|
||||||
|
try {
|
||||||
|
response = await fetch(url, {
|
||||||
|
method: 'POST',
|
||||||
|
// 不跟随跳转:Authorization 不能被顺手带到别的地址去
|
||||||
|
redirect: 'error',
|
||||||
|
headers,
|
||||||
|
body: JSON.stringify({ query, max_results: maxResults }),
|
||||||
|
signal: AbortSignal.timeout(REQUEST_TIMEOUT_MS),
|
||||||
|
});
|
||||||
|
} catch (error) {
|
||||||
|
throw new Error(`搜索上游请求失败(${url}):${String(error && error.message || error)}`);
|
||||||
|
}
|
||||||
|
const raw = await response.text();
|
||||||
|
if (!response.ok) {
|
||||||
|
// 带上游响应片段:401 和 500 的处置完全不同,只说「请求失败」没法排查
|
||||||
|
const detail = capSnippet(raw, 200);
|
||||||
|
throw new Error(`搜索上游 HTTP ${response.status}${detail ? ':' + detail : ''}`);
|
||||||
|
}
|
||||||
|
let payload;
|
||||||
|
try {
|
||||||
|
payload = JSON.parse(raw);
|
||||||
|
} catch (error) {
|
||||||
|
throw new Error(`搜索上游返回了无法解析的响应:${String(error)}`);
|
||||||
|
}
|
||||||
|
const sources = [];
|
||||||
|
for (const item of payload.results ?? []) {
|
||||||
|
if (!item || !item.url) continue;
|
||||||
|
const snippet = capSnippet(item.snippet, maxSnippetLength);
|
||||||
|
const publishedAt = item.published_at ?? item.publishedAt ?? item.publish_date;
|
||||||
|
sources.push({
|
||||||
|
url: String(item.url),
|
||||||
|
...(item.title ? { title: String(item.title) } : {}),
|
||||||
|
...(snippet ? { snippet } : {}),
|
||||||
|
...(publishedAt ? { publishedAt: String(publishedAt) } : {}),
|
||||||
|
});
|
||||||
|
}
|
||||||
|
return maxResults !== undefined ? sources.slice(0, maxResults) : sources;
|
||||||
|
}
|
||||||
|
|
||||||
/** Parallel 搜索(默认免费后端)。 */
|
/** Parallel 搜索(默认免费后端)。 */
|
||||||
export async function parallelSearch(query, maxResults) {
|
export async function parallelSearch(query, maxResults, maxSnippetLength) {
|
||||||
const text = await callMcpTool(PARALLEL_MCP_URL, 'web_search', {
|
const text = await callMcpTool(PARALLEL_MCP_URL, 'web_search', {
|
||||||
objective: query,
|
objective: query,
|
||||||
search_queries: [query],
|
search_queries: [query],
|
||||||
}, AbortSignal.timeout(REQUEST_TIMEOUT_MS));
|
}, AbortSignal.timeout(REQUEST_TIMEOUT_MS));
|
||||||
const sources = mapParallelResponse(text);
|
const sources = mapParallelResponse(text, maxSnippetLength);
|
||||||
return maxResults !== undefined ? sources.slice(0, maxResults) : sources;
|
return maxResults !== undefined ? sources.slice(0, maxResults) : sources;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 免费侧入口:Parallel 优先,失败自动退 Exa。
|
||||||
|
* 降级放在服务端(而不是让模型显式传 provider)——模型看不到后端,也就不会选错。
|
||||||
|
* @param {string} [exaApiKey] 可选,提升 Exa 匿名限额
|
||||||
|
* @param {number} [maxSnippetLength] 缺省不截断
|
||||||
|
*/
|
||||||
|
export async function freeSearch(query, maxResults, exaApiKey, maxSnippetLength) {
|
||||||
|
try {
|
||||||
|
return await parallelSearch(query, maxResults, maxSnippetLength);
|
||||||
|
} catch (first) {
|
||||||
|
try {
|
||||||
|
return await exaSearch(query, maxResults, exaApiKey, maxSnippetLength);
|
||||||
|
} catch (second) {
|
||||||
|
throw new Error(`免费搜索后端均不可用(parallel: ${String(first && first.message || first)};` +
|
||||||
|
`exa: ${String(second && second.message || second)})`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/** Exa 搜索(备用免费后端;apiKey 可选,用于提升匿名限额)。 */
|
/** Exa 搜索(备用免费后端;apiKey 可选,用于提升匿名限额)。 */
|
||||||
export async function exaSearch(query, maxResults, apiKey) {
|
export async function exaSearch(query, maxResults, apiKey, maxSnippetLength) {
|
||||||
const endpoint = apiKey
|
const endpoint = apiKey
|
||||||
? `${EXA_MCP_URL}?exaApiKey=${encodeURIComponent(apiKey)}`
|
? `${EXA_MCP_URL}?exaApiKey=${encodeURIComponent(apiKey)}`
|
||||||
: EXA_MCP_URL;
|
: EXA_MCP_URL;
|
||||||
@@ -145,6 +239,6 @@ export async function exaSearch(query, maxResults, apiKey) {
|
|||||||
numResults: maxResults ?? 8,
|
numResults: maxResults ?? 8,
|
||||||
livecrawl: 'fallback',
|
livecrawl: 'fallback',
|
||||||
}, AbortSignal.timeout(REQUEST_TIMEOUT_MS));
|
}, AbortSignal.timeout(REQUEST_TIMEOUT_MS));
|
||||||
const sources = parseExaText(text);
|
const sources = parseExaText(text, maxSnippetLength);
|
||||||
return maxResults !== undefined ? sources.slice(0, maxResults) : sources;
|
return maxResults !== undefined ? sources.slice(0, maxResults) : sources;
|
||||||
}
|
}
|
||||||
|
|||||||
+59
-16
@@ -2,34 +2,59 @@
|
|||||||
* MCP(Model Context Protocol)协议层:工具清单 + JSON-RPC 分发。
|
* MCP(Model Context Protocol)协议层:工具清单 + JSON-RPC 分发。
|
||||||
*
|
*
|
||||||
* 与传输无关(stdio / HTTP 都在 server.js 里),只负责把一条 JSON-RPC
|
* 与传输无关(stdio / HTTP 都在 server.js 里),只负责把一条 JSON-RPC
|
||||||
* 消息变成 JSON-RPC 响应。支持的 method 与上游 dsh-web-search-free 一致:
|
* 消息变成 JSON-RPC 响应。支持的 method:initialize / tools/list / tools/call / ping。
|
||||||
* initialize / tools/list / tools/call / ping。
|
*
|
||||||
|
* 上游参数逐请求从 HTTP header 取(与 mcp/asr、mcp/image_task 同构):
|
||||||
|
* X-Web-Search-Base-Url: https://<host>/v1 → 打 {base}/search(配了就用它,不降级)
|
||||||
|
* Authorization: Bearer <key> → 可选,裸 key 自动补 Bearer
|
||||||
|
* 两者都不配 = 内置免费后端(Parallel → Exa)。stdio 模式没有 header,因此只有免费后端。
|
||||||
*/
|
*/
|
||||||
import { parallelSearch, exaSearch } from './core.js';
|
import { customSearch, freeSearch } from './core.js';
|
||||||
|
|
||||||
export const SERVER_NAME = 'web_search';
|
export const SERVER_NAME = 'web_search';
|
||||||
export const VERSION = '1.0.0';
|
export const VERSION = '1.1.0';
|
||||||
const DEFAULT_PROTOCOL = '2025-03-26';
|
const DEFAULT_PROTOCOL = '2025-03-26';
|
||||||
|
const HDR_AUTH = 'authorization';
|
||||||
|
const HDR_BASE = 'x-web-search-base-url';
|
||||||
|
|
||||||
/** 暴露给 MCP 客户端的工具清单。 */
|
/** 暴露给 MCP 客户端的工具清单。 */
|
||||||
const TOOLS = [
|
const TOOLS = [
|
||||||
{
|
{
|
||||||
name: 'web_search',
|
name: 'web_search',
|
||||||
description: 'Free web search tool. Uses Parallel by default or Exa as fallback. Returns an array of results with title, url, snippet, and publishedAt.',
|
description: 'Search the web. Returns results with title, url, snippet and (when available) publishedAt.',
|
||||||
inputSchema: {
|
inputSchema: {
|
||||||
type: 'object',
|
type: 'object',
|
||||||
properties: {
|
properties: {
|
||||||
query: { type: 'string', description: 'Search query text' },
|
query: { type: 'string', description: 'Search query text' },
|
||||||
provider: { type: 'string', enum: ['parallel', 'exa'], description: "Backend provider: 'parallel' (default) or 'exa' (fallback)" },
|
|
||||||
numResults: { type: 'integer', minimum: 1, default: 8, description: 'Maximum number of results to return (default 8)' },
|
numResults: { type: 'integer', minimum: 1, default: 8, description: 'Maximum number of results to return (default 8)' },
|
||||||
|
maxSnippetLength: { type: 'integer', minimum: 1, description: 'Truncate each snippet to this many characters (default: keep full text)' },
|
||||||
},
|
},
|
||||||
required: ['query'],
|
required: ['query'],
|
||||||
},
|
},
|
||||||
},
|
},
|
||||||
];
|
];
|
||||||
|
|
||||||
/** 执行一次 tools/call;失败时抛 { code, message } 表示工具级错误。 */
|
/** 从请求 header 取上游两要素;Authorization 允许写裸 key(自动补 Bearer)。 */
|
||||||
async function callTool(name, args) {
|
function upstreamOf(headers) {
|
||||||
|
const h = headers || {};
|
||||||
|
const raw = String(h[HDR_AUTH] || '').trim();
|
||||||
|
return {
|
||||||
|
auth: raw ? (/^bearer\s/i.test(raw) ? raw : 'Bearer ' + raw) : '',
|
||||||
|
base: String(h[HDR_BASE] || '').trim().replace(/\/+$/, ''),
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
/** 配了地址就必须是完整 http(s):不能是相对路径,也不能把 key 发到别的协议上。 */
|
||||||
|
function assertBase(base) {
|
||||||
|
let u = null;
|
||||||
|
try { u = new URL(base); } catch (_) { u = null; }
|
||||||
|
if (!u || (u.protocol !== 'http:' && u.protocol !== 'https:')) {
|
||||||
|
throw new Error('X-Web-Search-Base-Url 必须是完整的 http(s) 地址,如 https://<host>/v1');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/** 执行一次 tools/call;失败时抛 { code, message } 表示协议级错误。 */
|
||||||
|
async function callTool(name, args, headers) {
|
||||||
if (name !== 'web_search') throw { code: -32602, message: `unknown tool: ${name}` };
|
if (name !== 'web_search') throw { code: -32602, message: `unknown tool: ${name}` };
|
||||||
|
|
||||||
const params = args ?? {};
|
const params = args ?? {};
|
||||||
@@ -38,20 +63,36 @@ async function callTool(name, args) {
|
|||||||
: null;
|
: null;
|
||||||
if (query === null) throw { code: -32602, message: 'query is required' };
|
if (query === null) throw { code: -32602, message: 'query is required' };
|
||||||
|
|
||||||
const provider = params.provider === 'exa' ? 'exa' : 'parallel';
|
|
||||||
const numResults = typeof params.numResults === 'number' && Number.isFinite(params.numResults)
|
const numResults = typeof params.numResults === 'number' && Number.isFinite(params.numResults)
|
||||||
? Math.max(1, Math.floor(params.numResults))
|
? Math.max(1, Math.floor(params.numResults))
|
||||||
: 8;
|
: 8;
|
||||||
|
// 截断是调用方的选择:不传就原样返回整段 snippet(上游可能给整篇正文,由调用方自己控上下文)
|
||||||
|
const rawMaxLen = Number(params.maxSnippetLength);
|
||||||
|
const maxSnippetLength = Number.isFinite(rawMaxLen) && rawMaxLen >= 1 ? Math.floor(rawMaxLen) : undefined;
|
||||||
|
|
||||||
const sources = provider === 'exa'
|
const up = upstreamOf(headers);
|
||||||
? await exaSearch(query, numResults, process.env.EXA_API_KEY)
|
let sources;
|
||||||
: await parallelSearch(query, numResults);
|
try {
|
||||||
|
if (up.base) {
|
||||||
|
assertBase(up.base);
|
||||||
|
sources = await customSearch(query, numResults, up, maxSnippetLength);
|
||||||
|
} else {
|
||||||
|
sources = await freeSearch(query, numResults, process.env.EXA_API_KEY, maxSnippetLength);
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
// 工具级错误回文本、协议层仍成功:模型能读懂并换查询/换工具,
|
||||||
|
// 回 JSON-RPC error 只会被 core 拼成「调用失败」,模型反而不好自纠。
|
||||||
|
return {
|
||||||
|
isError: true,
|
||||||
|
content: [{ type: 'text', text: 'Error: ' + String(error && error.message || error) }],
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
return { content: [{ type: 'text', text: JSON.stringify(sources, null, 2) }] };
|
return { content: [{ type: 'text', text: JSON.stringify(sources, null, 2) }] };
|
||||||
}
|
}
|
||||||
|
|
||||||
/** 处理一条请求消息,返回 result;失败时抛 { code, message }。 */
|
/** 处理一条请求消息,返回 result;失败时抛 { code, message }。 */
|
||||||
async function handleRequest(message) {
|
async function handleRequest(message, headers) {
|
||||||
switch (message.method) {
|
switch (message.method) {
|
||||||
case 'initialize':
|
case 'initialize':
|
||||||
return {
|
return {
|
||||||
@@ -62,7 +103,7 @@ async function handleRequest(message) {
|
|||||||
case 'tools/list':
|
case 'tools/list':
|
||||||
return { tools: TOOLS };
|
return { tools: TOOLS };
|
||||||
case 'tools/call':
|
case 'tools/call':
|
||||||
return callTool(message.params?.name, message.params?.arguments);
|
return callTool(message.params?.name, message.params?.arguments, headers);
|
||||||
case 'ping':
|
case 'ping':
|
||||||
return {};
|
return {};
|
||||||
default:
|
default:
|
||||||
@@ -72,9 +113,11 @@ async function handleRequest(message) {
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* 解析并执行一条 JSON 消息。
|
* 解析并执行一条 JSON 消息。
|
||||||
|
* @param {string} raw JSON-RPC 文本
|
||||||
|
* @param {object} [headers] 本次 HTTP 请求的 header(stdio 模式没有,上游参数就走免费后端)
|
||||||
* @returns 响应信封对象;notification(无 id)返回 null;非法 JSON 返回 undefined。
|
* @returns 响应信封对象;notification(无 id)返回 null;非法 JSON 返回 undefined。
|
||||||
*/
|
*/
|
||||||
export async function dispatch(raw) {
|
export async function dispatch(raw, headers) {
|
||||||
let message;
|
let message;
|
||||||
try {
|
try {
|
||||||
message = JSON.parse(raw);
|
message = JSON.parse(raw);
|
||||||
@@ -83,7 +126,7 @@ export async function dispatch(raw) {
|
|||||||
}
|
}
|
||||||
if (message.id === undefined) return null; // 通知不响应
|
if (message.id === undefined) return null; // 通知不响应
|
||||||
try {
|
try {
|
||||||
return { jsonrpc: '2.0', id: message.id, result: await handleRequest(message) };
|
return { jsonrpc: '2.0', id: message.id, result: await handleRequest(message, headers) };
|
||||||
} catch (error) {
|
} catch (error) {
|
||||||
const e = error;
|
const e = error;
|
||||||
return {
|
return {
|
||||||
|
|||||||
@@ -1,8 +1,8 @@
|
|||||||
{
|
{
|
||||||
"name": "web_search",
|
"name": "web_search",
|
||||||
"version": "1.0.0",
|
"version": "1.1.0",
|
||||||
"private": true,
|
"private": true,
|
||||||
"description": "Free web search tool. Uses Parallel by default or Exa as fallback.",
|
"description": "Web search tool. Uses a caller-provided /search endpoint when configured, otherwise free Parallel / Exa backends.",
|
||||||
"license": "MIT",
|
"license": "MIT",
|
||||||
"type": "module",
|
"type": "module",
|
||||||
"main": "server.js",
|
"main": "server.js",
|
||||||
|
|||||||
@@ -1,16 +1,22 @@
|
|||||||
#!/usr/bin/env node
|
#!/usr/bin/env node
|
||||||
/**
|
/**
|
||||||
* MCP server 入口 —— 免费网页搜索(Parallel 默认 / Exa 备用,匿名免 key)。
|
* MCP server 入口 —— 网页搜索(自定义 /search 上游,或内置免费 Parallel / Exa)。
|
||||||
*
|
*
|
||||||
* 本地重构版(上游:@sheep233_/dsh-web-search-free),零运行时依赖,直接 node 启动。
|
* 本地重构版(上游:@sheep233_/dsh-web-search-free),零运行时依赖,直接 node 启动。
|
||||||
*
|
*
|
||||||
* ## 双传输
|
* ## 双传输
|
||||||
* - **stdio**(默认):`node server.js`
|
* - **stdio**(默认):`node server.js`
|
||||||
* - `claude mcp add web_search -- node <路径>/server.js`
|
* - `claude mcp add web_search -- node <路径>/server.js`
|
||||||
|
* - 没有 HTTP header,因此只能用内置免费后端
|
||||||
* - **HTTP/SSE**(监听端口):`node server.js --http --port 3000 --host 0.0.0.0`
|
* - **HTTP/SSE**(监听端口):`node server.js --http --port 3000 --host 0.0.0.0`
|
||||||
* - 兼容 Streamable HTTP(`POST /`)与老式 SSE(`GET /sse` + `POST /messages`)
|
* - 兼容 Streamable HTTP(`POST /`)与老式 SSE(`GET /sse` + `POST /messages`)
|
||||||
* - `GET /` 或 `GET /health` 返回服务信息,可做健康检查
|
* - `GET /` 或 `GET /health` 返回服务信息,可做健康检查
|
||||||
*
|
*
|
||||||
|
* 上游参数逐请求从 HTTP header 取(与 mcp/asr、mcp/image_task 同构,容器不存密钥):
|
||||||
|
* X-Web-Search-Base-Url: https://<host>/v1 → 打 {base}/search
|
||||||
|
* Authorization: Bearer <key> → 可选,裸 key 自动补 Bearer
|
||||||
|
* 两者都不配 = 免费后端。
|
||||||
|
*
|
||||||
* 环境变量:EXA_API_KEY(可选,提升 Exa 匿名限额);SEARCH_TIMEOUT_MS(可选,上游超时)。
|
* 环境变量:EXA_API_KEY(可选,提升 Exa 匿名限额);SEARCH_TIMEOUT_MS(可选,上游超时)。
|
||||||
*/
|
*/
|
||||||
import { createInterface } from 'node:readline';
|
import { createInterface } from 'node:readline';
|
||||||
@@ -88,7 +94,8 @@ function runHttp(host, port) {
|
|||||||
let body = '';
|
let body = '';
|
||||||
req.on('data', (chunk) => { body += chunk.toString(); });
|
req.on('data', (chunk) => { body += chunk.toString(); });
|
||||||
req.on('end', () => {
|
req.on('end', () => {
|
||||||
void dispatch(body).then((response) => {
|
// header 必须随消息带进协议层:上游地址 / 鉴权都是逐请求带入的(容器不存密钥)
|
||||||
|
void dispatch(body, req.headers).then((response) => {
|
||||||
if (response === null) { // 通知
|
if (response === null) { // 通知
|
||||||
res.writeHead(202).end();
|
res.writeHead(202).end();
|
||||||
return;
|
return;
|
||||||
|
|||||||
Reference in New Issue
Block a user