8 Commits
Author SHA1 Message Date
kicer 62e5902834 版本号升到 2.5.0:收口语音输入这一批改动
- 语音:长说不带停顿按能量最低点软切、转写并行发送并限流 3
- 语音:识别提示改动态进度(段数 + 秒数)
- 鸿蒙 APK 长按时按住区不再随遮罩隐藏
- 公网临时链接:图片改 inline 返回,sw.js 放行 /p/ 二进制直链
- package.json 与 routes/system.js 的 VERSION 同步为 2.5.0(发版约定)
2026-11-11 10:16:02 +08:00
kicer b4755ac98b 转写请求改并行发送并限流:最多 3 个在飞,名额谁落定谁交出去
串行上传(一段没回来不发下一段)让长语音的松手等待等于各段耗时之和,
上游一慢就整体排队。改成并行,同时限制并发数避免压垮上游:

- 并发上限 ASR_MAX_CONCURRENCY = 3(页面侧常量,改完刷新即生效)
- 名额制而不是「第 i 段等第 i-N 段」:后者的伪阻塞在于最慢那段会卡住
  本可以发的后续段(只飞 1 个时,排队的第 7 段也要一直等)
- 名额在成功/失败后都归还,单段失败不吞名额
- 取消/重录:被唤醒的排队段看到 gen 变了只还名额、不真发,计数不漏
- 结果按 textParts[idx] 落位:并行返回是乱序的,拼接仍按说话顺序
- 收口改成 Promise.all(inflight),逐个兜 catch,避免单段异常让整批失败、
  只能等 60s 超时把已识别内容全丢掉
2026-11-11 09:25:07 +08:00
kicer df1b1787e9 长说不带停顿时按能量最低点软切:6s 先发一段,不再憋到松手
一口气说不停顿是语音输入最慢的路径:没有 0.5s 停顿就一段都发不出去,
只能等松手整段上传。改成累计语音到 6s 就在低能量处分段发出:

- 只在尾部 3s 窗口里找切点:太靠前会把很久以前的低点当作刀口
- 切点按分片边界取:每片已有峰值 dB(与 segChunks 平行的 segLens/segDbs),
  取最小者下刀,尾部静音是 -Infinity 会天然胜出 → 落在气口上
- 切完剩下的留在缓冲继续累积,不丢采样、不重复;真静音切点仍优先
- 25s 硬切保留作兜底(软切一直不成立时才会走到)
- silLen 在切后被钳到剩余长度:切点落在尾巴静音里时不能超过段长

代价:刀口是分片粒度(APK 约 100ms),可能劈在字中间,所以段更短;
调大 VAD_SOFT_CUT_SEC 可让切点更可能落在真实气口。
2026-11-11 09:11:32 +08:00
kicer 03cf4b86e4 语音松手后的识别提示改为动态进度:段数 + 秒数
「正在识别…」是静态文案,上游慢时看着像卡死。改成按真实进度变化:

- 多段:正在识别 2/3 段 · 5s(每完成一段分子加一)
- 单段:正在识别… 5s(0/1 看着也像没进展,只留秒数)
- 秒数 1s 一跳,从松手(尾巴已入队)才开始算,说话过程不计时
- 失败也算走完一段,进度不会停在半路
- resetUI 统一 clearInterval:取消/超时/完成/切模式都不会漏
2026-11-11 08:55:40 +08:00
kicer 7641f5c0a7 鸿蒙长按时按住区不再随遮罩隐藏:避免指针捕获被释放而误判“说话太短”
按下后 body.voice-active 会把输入卡所有子项设成 visibility:hidden,#voice-hold 也在内。
它是 pointerdown 里 setPointerCapture 的持有者,鸿蒙 ArkWeb 在元素不可见时会释放捕获并
补一个 pointercancel,页面把它当成“松手”→ 按住不到 500ms → 丢弃并提示“说话时间太短”,
表现就是长按立刻失效、按钮像丢了状态。

- 只把 #voice-hold 排除在隐藏规则外(遮罩覆盖这一段本来就不透明,视觉无差别)
- 其余元素(输入框、操作栏等)的隐藏行为保持不变
- 未改 JS:录音状态机、取消手势阈值、识别流程都不动

真机确认有效后再看是否需要处理 setPointerCapture 与长按序列打断。
2026-11-11 08:48:14 +08:00
kicer ae8ed6bb25 Service Worker 放行 /p/ 二进制直链:图片外链不再被当 HTML 文本重建
图片外链改成 inline 后点开变成坏图:sw.js 的导航分支默认把同源导航当 HTML,
resp.text() 把整张 PNG 解成替换字符再 new Response 回去,浏览器只看到空白;
它“残缺重试一次”的行为还让日志里每点一次出现两条 public-file 取用。

- 跳过名单补 /p/:公网短链是二进制 + 带 TTL 的 bearer 能力,不该接管也不该缓存
- 导航分支加硬约束:Content-Type 不是 text/html 就原样透传,不再按文本重建
- 该兜底不依赖路径枚举,其它同源二进制直链导航同样受保护

sw.js 不在预缓存清单里,无需升 CACHE_VERSION;刷新页面即可生效。
2026-11-11 07:59:32 +08:00
kicer 3806071698 公网临时链接图片改 inline 返回:点开直接看图,不再一律下载
/p/<id> 原先不分类型一律 attachment(为安卓封装壳的 DownloadManager 兜底),图片外链点开只会进下载器;read_file 读图也走这个端点,用户点开来只能下载、看不到图。

- download-send.js 抽出 contentDisposition(type),新增 inlineImageType / sendInlineImage
- 图片显式给 image/* + X-Content-Type-Options: nosniff + inline;缓存仍 no-store(/p/ 是短命 bearer 链)
- 按扩展名判定:png/jpg/jpeg/webp/gif/bmp/tif/tiff/avif/ico/svg,不读文件头做嗅探
- SVG 额外加 CSP: sandbox(匿名同源端点,直接打开不能执行内嵌脚本;img 引用不受影响)
- inline 走 dotfiles:allow,保证 read_file 的 .imgcache/ 压缩产物能取到
- 其余类型(PDF/Office/zip/HTML 等)保持 attachment,下载语义与安卓兜底不变
- README「公网临时链接」补响应头说明
2026-11-11 07:31:02 +08:00
kicer b0a8283406 占位裁剪新增 turns(真人回合)条件:回合内不裁,跨回合才裁
rounds 数的是 assistant 行,长回合里会把模型还要用的回执裁掉——实测有回合把同一文件
分段重读了 24 次(每次都在 rounds:2 生效的那一轮回来重读)。

- 规则新增 turns 字段:其后又来了几条真人消息(role=user 且 type 为空,注入行不算)
- rounds 与 turns 同时满足才裁(AND);两者都写 0 才算规则关闭
- 默认:fetch / read_file / web_search 用 rounds:2 + turns:1(回合内绝不裁),
  write_file 参数侧保持 rounds:1 + turns:0(只是写盘快照,照旧早裁)
- config.example.yml 补了带时间线的例子与「rounds=后面 AI 又说了几句话 /
  turns=后面又来了几条真人消息」的注释;AGENTS.md 与 tool-design.md 同步
- 启动日志改为打印 轮≥N,回合≥M,便于核对生效规则
2026-11-03 08:06:43 +08:00
15 changed files with 283 additions and 63 deletions
+1
View File
@@ -360,6 +360,7 @@ http://<host>/p/<id>
- 只由 core 进程内的工具签发,签发前校验文件在任务目录内且 `realpath` 未越界。
- 默认 30 分钟过期,可配置 1 分钟到 24 小时。
- 链接可重复使用,直到过期;服务重启后全部失效。
- 响应头按类型分开:图片(`png/jpg/webp/gif/bmp/tif/avif/ico/svg`)返回 `inline` + 对应 `image/*`,点开链接直接看图;其余类型返回 `attachment`,交给浏览器/WebView 下载(SVG 额外带 `Content-Security-Policy: sandbox`,禁止内嵌脚本)。
- 任何人拿到链接即可匿名访问,不要对含密钥的文件签发。
### HTTPS
+10 -6
View File
@@ -190,12 +190,16 @@ IM 用户在实时对话,回合中插话应当“当前这步跑完就插”
- 重读去重(engine `run.imgDelivered`)**只拦同一批 tool call 内的重复读**(一次请求里塞两份同样的图
没意义);跨批次重读一律放行。不要写成「一回合只投递一次」,也不要靠推测「图还在不在上下文里」——
模型说拿不到就得给,而且文件可能已重新生成(路径相同、内容不同);拦掉只会把新像素挡在门外。
- 占位裁剪(`agent.trim.rules`):距尾 ≥N 个 assistant 轮的指定工具参数(`side: args` + `fields`,
仅顶层字符串)或回执正文(`side: result`)换成单行占位。默认规则在 `config.js` 的
`DEFAULTS.agent.trim.rules`(`write_file.content` / `fetch` / `read_file` / `web_search`),
`config.yml` 写了 `trim.rules` 就整体替换(`[]` = 全关)。
**只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或只是当时快照」的工具配:
`terminal` 这类一次性输出裁掉后模型就再也看不到(规则写法见 `config.example.yml` 的 `agent.trim`)。
- 占位裁剪(`agent.trim.rules`):指定工具的参数(`side: args` + `fields`,仅顶层字符串)或回执正文
(`side: result`)在满足**两个距离条件**时换成单行占位:`rounds` = 其后又有几条 assistant 行
(「后面 AI 又说了几句话」)、`turns` = 其后又有几条真人消息(`role=user` 且 `type` 为空,
「后面又来了几条真人消息」)。两者是 AND,同时满足才裁;`turns: 1` = 回合内绝不裁、跨过用户
回合边界才裁——`fetch` / `read_file` / `web_search` 默认都配了它(否则长回合里模型会把同一段
反复重读,实测有回合重读同一文件 24 次);`write_file` 的参数只是快照,只配 `rounds: 1`。
默认规则在 `config.js` 的 `DEFAULTS.agent.trim.rules`(唯一来源),`config.yml` 写了 `trim.rules`
就整体替换(`[]` = 全关)。**只改发给上游的副本**,DB 与 UI 不动。规则只给「内容可再生或
只是当时快照」的工具配:`terminal` 这类一次性输出裁掉后模型就再也看不到
(规则写法与示例见 `config.example.yml` 的 `agent.trim`)。
- `compressMessages` = `buildMessages` + 末尾一条压缩指令 `user`。**铁律**:压缩请求必须与上一次
常规请求字节同构、只在尾部追加;不要为了省 token 在压缩回合抽掉快照或裁剪历史,断前缀缓存等于全价重读。
- `titleMessages`:不带 system prompt,只取 user/assistant 纯文本行(白名单 `null`/`summary`/`task_brief`)
+18 -4
View File
@@ -47,12 +47,22 @@ agent:
max_retries: 2 # 上游失败重试次数
language: "Simplified Chinese" # 强制回复语言;留空不限
auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关
# 历史重放占位裁剪(省 token):某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,
# 把可再生的重负载换成单行占位再发给上游(DB/UI 不动,盘上可重读/重抓)。rounds=0 或
# 不写这条规则 = 不裁;整段 rules: [] = 全关。
# 下面是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。
# 历史重放占位裁剪(省 token):把「可再生的重负载」换成单行占位再发给上游
#(DB/UI 不动,盘上可重读/重抓)。两个距离条件**同时满足**才裁:
# rounds = 这一行之后又出现了几条 AI 回复 (「后面 AI 又说了几句话」)
# turns = 这一行之后又来了几条真人消息 (「后面又来了几条真人消息」;注入行不算)
#
# 举例(rounds: 2 + turns: 1):
# 回合1:读① → 读② → 改③ → 「改好了」
# 回合2 第 1 句请求:①② 已过 2 条 AI 回复 + 1 条真人消息 → 裁成占位;
# ③ 只过了 1 条 AI 回复 → 留着
# 回合2 第 2 句请求:③ 也过了 2 条 → 裁
# 也就是说:回合内绝不会裁,回合结束后开始清;想「新回合第一句就清光」把 rounds 改成 1。
#
# rounds 与 turns 都写 0(或不写)= 该条规则关闭;整段 rules: [] = 全关。
# side=args 裁调用参数(fields 点名顶层字符串参数);side=result 裁整段回执正文。
# tool 用模型看到的最终工具名(MCP 重名时含 server__ 前缀)。
# 下面就是内置默认(与 config.js 的 DEFAULTS.agent.trim.rules 同步);写了本段就整体替换默认。
trim:
min_chars: 600 # 短于此长度的正文不裁(占位自身也有成本);单条规则可用 min_chars 覆盖
rules:
@@ -60,16 +70,20 @@ agent:
side: args
fields: [content]
rounds: 1
turns: 0 # 不带 turns:回合内也照裁(省的是每轮重发整个文件)
- tool: fetch # 页面可重抓;status_regex 取第一个捕获组写进占位(YAML 用单引号,避免 \d 被当转义)
side: result
rounds: 2
turns: 1 # 回合内不裁(否则同一 URL 会被反复重抓),跨回合后按 rounds 清
status_regex: '^HTTP (\d{3})'
- tool: read_file # 文件在盘上,可重读
side: result
rounds: 2
turns: 1 # 回合内不裁(否则长回合里模型会反复重读同一段)
- tool: web_search # 栈内免费搜索 MCP;可重搜,但结果会随时间变化
side: result
rounds: 2
turns: 1 # 同上;现在回执默认不截断,单条可能上万字
auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动)
# 长期记忆(日记,memory.js):收口时一条几十字第一人称碎片入当日条目;存储默认永久,旧记忆靠回忆下钻
+1 -1
View File
@@ -1,6 +1,6 @@
{
"name": "agent-app",
"version": "2.4.0",
"version": "2.5.0",
"description": "自用通用 Agent 系统:多模型调度 + 任务目录 + 工具调用 + H5 Web UI",
"main": "server/server.js",
"scripts": {
+19 -11
View File
@@ -87,15 +87,21 @@ const DEFAULTS = {
// auto_complete_ms:held(保持中)超过此时长自动收口为 completed(0=关)。key 非独占后 held 不占任何资源,
// 收口是纯视觉动作:历史/绑定不动,再发言照常由 completed 分支续跑(见 engine.sweepHeldTimeouts)。
// 历史重放占位裁剪(llm.buildMessages):trim.rules 逐条声明「哪个工具、参数侧还是回执侧、
// 距尾多少个 assistant 轮后换单行占位」;只改发给上游的副本,DB/UI 不动。
// 距尾多远换单行占位」;只改发给上游的副本,DB/UI 不动。
// 两个距离条件**同时满足**才裁:
// rounds = 这一行之后又出现了几条 assistant 行(「后面 AI 又说了几句话」)
// turns = 这一行之后又来了几条真人消息(role=user 且 type 为空,「后面又来了几条真人消息」)
// 所以 turns:1 = 回合内绝不裁、跨过用户回合边界才裁(避免长回合里模型反复重读同一个文件)。
// 这里是默认策略的唯一来源:config.yml 写了 trim.rules 就整体替换(写 [] = 全关)。
agent: { temperature: 1.0, max_tool_iterations: 100, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000, auto_complete_ms: 1800000, trim: {
min_chars: 600,
rules: [
// 参数正文只是写盘时的快照:不带 turns,回合内也照裁(省的是每轮重发整个文件)
{ tool: 'write_file', side: 'args', fields: ['content'], rounds: 1 },
{ tool: 'fetch', side: 'result', rounds: 2, status_regex: '^HTTP (\\d{3})' },
{ tool: 'read_file', side: 'result', rounds: 2 },
{ tool: 'web_search', side: 'result', rounds: 2 },
// 回执可再生(页面可重抓 / 文件可重读 / 可重搜):turns:1 保证同一回合内不裁,回合结束后按 rounds 兜底
{ tool: 'fetch', side: 'result', rounds: 2, turns: 1, status_regex: '^HTTP (\\d{3})' },
{ tool: 'read_file', side: 'result', rounds: 2, turns: 1 },
{ tool: 'web_search', side: 'result', rounds: 2, turns: 1 },
],
} },
// 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。
@@ -246,11 +252,12 @@ function normalizePlatforms(rawPlatforms, profileNames) {
}
// ---------- 历史重放的重负载占位裁剪(agent.trim) ----------
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」
// 换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。
// 只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮、且 ≥turns 个真人回合后,
// 把其中「可再生的重负载」换成单行占位再发给上游(llm.buildMessages;DB/UI 不动)。
// rounds = 「后面 AI 又说了几句话」;turns = 「后面又来了几条真人消息」(type 为空的 user 行)。
// 两者同时满足才裁。只该给「内容可再生或只是当时快照」的工具开:read_file/fetch 能重读重抓、write_file 参数
// 只是快照;terminal 输出是一次性的,裁掉模型就永久看不到了。
const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'fields', 'min_chars', 'status_regex']);
const TRIM_RULE_KEYS = new Set(['tool', 'side', 'rounds', 'turns', 'fields', 'min_chars', 'status_regex']);
function toNonNegInt(v, d) {
const n = Math.floor(Number(v));
@@ -272,10 +279,11 @@ function normalizeTrimRule(r, i, defMinChars) {
if (side !== 'args' && side !== 'result') {
throw new Error(at + '.side 只能是 args(裁调用参数)/ result(裁回执正文),收到:' + side);
}
// rounds=0 = 该条规则关闭;直接丢掉,不留空规则。
// rounds / turns 都是「距尾多远」,同时满足才裁;两个都写 0(或不写)= 该条规则关闭,直接丢掉,不留空规则。
const rounds = toNonNegInt(r.rounds, 0);
if (rounds <= 0) return null;
const out = { tool, side, rounds, min_chars: toNonNegInt(r.min_chars, defMinChars) };
const turns = toNonNegInt(r.turns, 0);
if (rounds <= 0 && turns <= 0) return null;
const out = { tool, side, rounds, turns, min_chars: toNonNegInt(r.min_chars, defMinChars) };
if (side === 'args') {
if (!Array.isArray(r.fields) || !r.fields.length) {
throw new Error(at + '(args 侧)必须配 fields 数组(要占位的顶层参数名,如 [content])');
+49 -5
View File
@@ -1,4 +1,4 @@
// 单文件下载响应的公共实现:任务文件的浏览器下载(routes/files.js)与公网临时文件
// 单文件下载 / 内联响应的公共实现:任务文件的浏览器下载(routes/files.js)、公网临时文件
// (routes/public-files.js)共用,避免两处各写一套文件名/缓存策略。
'use strict';
@@ -9,13 +9,37 @@ const path = require('path');
// 老 AOSP DownloadManager 的正则解析失败而改从 URL 猜名(download.pdf)。
// 这里传统 filename= 直接放百分号编码的 UTF-8:朴素解析器解码后能得到真名,
// 标准客户端照旧优先 filename*(RFC 5987)。
function downloadDisposition(name) {
function contentDisposition(name, type) {
const legacy = encodeURIComponent(name);
// RFC 5987 attr-char 不含 ' ( ) ! *,ext-value 里需额外编码
const ext = legacy.replace(/['()!*]/g, function (c) {
return '%' + c.charCodeAt(0).toString(16).toUpperCase();
});
return 'attachment; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
return type + '; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
}
function downloadDisposition(name) {
return contentDisposition(name, 'attachment');
}
// 内联图片判定:只看扩展名,不读文件头——公网端点不做内容嗅探,也不该为了“猜类型”整包读文件。
// svg 也算:浏览器只有拿到 image/svg+xml 才会渲染而不是下载(脚本风险由下面的 CSP sandbox 兜住)。
const INLINE_IMAGE_TYPES = new Map([
['.png', 'image/png'],
['.jpg', 'image/jpeg'],
['.jpeg', 'image/jpeg'],
['.webp', 'image/webp'],
['.gif', 'image/gif'],
['.bmp', 'image/bmp'],
['.tif', 'image/tiff'],
['.tiff', 'image/tiff'],
['.avif', 'image/avif'],
['.ico', 'image/x-icon'],
['.svg', 'image/svg+xml'],
]);
function inlineImageType(abs) {
return INLINE_IMAGE_TYPES.get(path.extname(String(abs || '')).toLowerCase()) || null;
}
// 下载统一响应:禁用一切缓存协商。
@@ -23,12 +47,32 @@ function downloadDisposition(name) {
// 先发条件请求拿 304 空体,下载管理器随后卡在“等待中”(桌面 Safari/curl 不受影响)。
// 不能用 res.download:它会用 content-disposition 包覆盖上面的文件名策略;
// res.sendFile 不设置 Content-Disposition,Content-Type 按扩展名自动出,Range 由 send 支持。
function sendDownload(res, abs) {
function noStore(res) {
res.setHeader('Cache-Control', 'no-store, no-cache, must-revalidate');
res.setHeader('Pragma', 'no-cache');
res.setHeader('Expires', '0');
}
function sendDownload(res, abs) {
noStore(res);
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
}
module.exports = { downloadDisposition, sendDownload };
// 内联图片响应(公网链 GET /p/<id> 的图片分支):点开链接直接显示,不再被当成附件下载。
// 安卓封装壳 / WebView 对 attachment 一律交系统下载器,图片外链因此“只下载、不打开”;
// inline + 明确的 image/* 才走渲染路径。缓存仍 no-store:/p/<id> 是短命 bearer 链,
// 不该被中间缓存留副本(与下载同语义)。
function sendInlineImage(res, abs, type) {
noStore(res);
res.setHeader('Content-Type', type);
res.setHeader('X-Content-Type-Options', 'nosniff');
res.setHeader('Content-Disposition', contentDisposition(path.basename(abs), 'inline'));
// SVG 是唯一能带脚本的“图片”,而 /p/ 是匿名同源端点:直接打开会以本应用身份执行脚本。
// sandbox 不给 allow-scripts,退化成不可执行、无同源权限的文档;<img> 引用本就不执行脚本,不受影响。
if (type === 'image/svg+xml') res.setHeader('Content-Security-Policy', 'sandbox');
// dotfiles 显式放行:read_file 的压缩产物在 .imgcache/(点目录),默认策略对其他调用方不保证。
res.sendFile(abs, { dotfiles: 'allow', lastModified: false, etag: false, maxAge: 0 });
}
module.exports = { contentDisposition, downloadDisposition, sendDownload, sendInlineImage, inlineImageType };
+26 -14
View File
@@ -198,16 +198,23 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
const ids = new Set(history.map(r => r.id));
for (const k of Array.from(session.blocksCache.keys())) if (!ids.has(k)) session.blocksCache.delete(k);
}
// 裁剪预扫:① 每行距尾的 assistant 轮数(从尾往头扫);② tool_call id → function
// (result 侧规则需要反查工具名)。trimOn=false(压缩回合)或没配规则时整个跳过。
// 裁剪预扫:① 每行距尾的 assistant 轮数(rounds)与真人回合数(turns),一趟从尾往头扫;
// ② tool_call id → function(result 侧规则需要反查工具名)。
// turns 只数「真实用户消息」(role=user 且 type 为空):channel_note / memory_note 这类注入行
// 不是回合边界(与 engine 立题同口径),数进去会让回合数虚高、提前裁掉本回合的内容。
// trimOn=false(压缩回合)或没配规则时整个跳过。
const trimActive = trimOn !== false && (TRIM.argsByTool.size > 0 || TRIM.resultByTool.size > 0);
const roundsAfter = new Map();
const turnsAfter = new Map();
const callById = new Map();
if (trimActive) {
let n = 0;
let t = 0;
for (let i = history.length - 1; i >= 0; i--) {
const r = history[i];
roundsAfter.set(r.id, n);
turnsAfter.set(r.id, t);
if (r.role === 'user' && r.type == null) t++;
if (r.role === 'assistant' && r.type !== 'archived' && r.type !== 'errAck') n++;
}
if (TRIM.resultByTool.size > 0) {
@@ -331,7 +338,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
} else {
m.tool_calls = paired;
for (const c of paired) emittedCallIds.add(c.id);
if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0);
if (trimActive && TRIM.argsByTool.size > 0) trimToolCallArgs(m.tool_calls, roundsAfter.get(row.id) || 0, turnsAfter.get(row.id) || 0);
}
}
if (!m.content) delete m.content;
@@ -394,7 +401,7 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
}
}
if (row.role === 'tool') {
if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter);
if (trimActive && typeof content === 'string') content = trimToolContent(content, row, callById, roundsAfter, turnsAfter);
messages.push({ role: 'tool', tool_call_id: row.tool_call_id, name: row.name, content });
} else {
messages.push({ role: row.role, content });
@@ -424,22 +431,26 @@ function buildMessages(session, language, mintUrl, profile, withProfile, trimOn)
// ---------- 重负载占位裁剪(历史重放省 token) ----------
// 策略只在配置里:默认值来自 config.js 的 DEFAULTS.agent.trim.rules,config.yml 写了
// agent.trim.rules 就整体替换([] = 全关)。本模块不含任何工具名或默认阈值;未注入 = 不裁剪。
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮后,把其中「可再生的重负载」
// ——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。
// 语义:某条工具调用/回执距对话尾部 ≥rounds 个 assistant 轮**且** ≥turns 个真人回合后,把其中
//「可再生的重负载」——args 侧指定参数正文、result 侧整段回执——换成单行占位再发给上游。
// rounds = 「后面 AI 又说了几句话」,turns = 「后面又来了几条真人消息」;
// turns:1 就是「回合内绝不裁,跨过用户回合边界才裁」(长回合里防模型反复重读同一段)。
// 只应给可再生/快照型工具开规则:占位只改发给上游的副本(DB/UI 照旧可看全量),但模型侧
// 一旦被裁就再也看不到那段内容(如 terminal 的一次性输出)。
// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数 assistant 轮:
// 删中间消息可让已占位行短暂复活全文(一次性断前缀缓存,与图片消费 i<lastAck 同一
// 语义,接受)。
// 纯函数、与压缩归档正交(archived 行本来就不进模型)。距离按现存行数:删中间消息可让已占位行
// 短暂复活全文(一次性断前缀缓存,与图片消费 i<lastAck 同一语义,接受)。
function compileTrimRules(rules) {
const argsByTool = new Map();
const resultByTool = new Map();
for (const r of rules || []) {
if (!r || !r.tool) continue;
const rounds = Math.floor(Number(r.rounds));
if (!(rounds > 0)) continue;
const rounds = Math.max(0, Math.floor(Number(r.rounds)) || 0);
const turns = Math.max(0, Math.floor(Number(r.turns)) || 0);
// 两个距离都写 0 = 规则关闭(config.js 归一化时已丢弃,这里兼容手搓 cfg)
if (rounds <= 0 && turns <= 0) continue;
const rule = {
rounds,
turns,
minChars: Math.max(0, Math.floor(Number(r.min_chars)) || 0),
fields: Array.isArray(r.fields) ? r.fields.map(String) : [],
statusRe: null,
@@ -463,11 +474,11 @@ function omittedMarker(size, extra) {
}
// args 侧占位:只洗规则点名的顶层字符串参数,其余参数原样保留(path/url 等恢复指针不动)。
// 改写的是已 parse 副本,DB 行不动,重新 stringify 保持 JSON 合法。
function trimToolCallArgs(calls, rounds) {
function trimToolCallArgs(calls, rounds, turns) {
for (const c of calls || []) {
if (!c || !c.function) continue;
const rule = TRIM.argsByTool.get(c.function.name);
if (!rule || rounds < rule.rounds) continue;
if (!rule || rounds < rule.rounds || turns < rule.turns) continue;
let args;
try { args = JSON.parse(c.function.arguments || ''); } catch (_) { continue; }
if (!args || typeof args !== 'object' || Array.isArray(args)) continue;
@@ -483,13 +494,14 @@ function trimToolCallArgs(calls, rounds) {
}
// result 侧占位:整段回执换单行。图片回执(blocks 非空)在上游分支里已还原成文字/图块,
// 这里只处理纯文本;status_regex 可把状态码写进占位(如 fetch 的 HTTP 状态)。
function trimToolContent(content, row, callById, roundsAfter) {
function trimToolContent(content, row, callById, roundsAfter, turnsAfter) {
if (typeof content !== 'string') return content;
const fn = callById.get(row.tool_call_id);
const name = row.name || (fn && fn.name) || '';
const rule = TRIM.resultByTool.get(name);
if (!rule) return content;
if ((roundsAfter.get(row.id) || 0) < rule.rounds) return content;
if ((turnsAfter.get(row.id) || 0) < rule.turns) return content;
if (content.length < rule.minChars) return content;
let extra = '';
if (rule.statusRe) {
+5 -1
View File
@@ -440,7 +440,11 @@ footer { position: relative; flex: none; padding: 8px 12px calc(10px + var(--sab
/* 录音期间:输入卡内容整体让位给遮罩(遮罩不再透光,按钮/文字留着会和提示叠字) */
body.voice-active .input-shell { border-color: transparent; box-shadow: none; }
body.voice-active .input-shell > *:not(#voice-overlay) { visibility: hidden; }
/* #voice-hold 不能一起藏:它是 pointerdown 时 setPointerCapture 的持有者,一按下就变成
visibility:hidden 时鸿蒙 ArkWeb 会释放捕获并补一个 pointercancel,页面把它当成“松手”
→ 按住不到 500ms → 误报“说话时间太短”。遮罩覆盖这一段本来就不透明(var(--page)),
留着按住区视觉上没有差别。 */
body.voice-active .input-shell > *:not(#voice-overlay):not(#voice-hold) { visibility: hidden; }
body.voice-active .attach-chips { visibility: hidden; }
body.voice-active .scroll-bottom-btn { display: none; }
+122 -11
View File
@@ -36,6 +36,9 @@
const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制)
const MIN_MS = 500; // 短于这个时长按误触处理,不上传
const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败)
// 转写请求的并发上限:段一碎(6s 软切)并发就会很多,全放出去会把上游压垮、
// 也可能被限流。超过就排到后面,等前面的落定再发。改完刷新页面即生效。
const ASR_MAX_CONCURRENCY = 3;
const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算
const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到)
@@ -73,10 +76,18 @@
// 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传
let pcmRate = 16000; // 当前流的采样率(契约要求 16k)
let segChunks = []; // 当前段的 PCM 分片(Int16Array)
let segLens = []; // 各分片采样数(与 segChunks 平行:软切要按采样换算边界)
let segDbs = []; // 各分片峰值 dB(与 segChunks 平行:软切要找能量最低的边界)
let segLen = 0; // 当前段总采样数
let silLen = 0; // 段尾连续静音采样数
let textParts = []; // 各段识别结果(按顺序)
let chain = Promise.resolve(); // 串行上传链:保证拼接顺序 = 说话顺序
let textParts = []; // 各段识别结果,按提交顺序占位(并行返回是乱序的)
let segSent = 0; // 本轮已提交转写的段数(进度分母)
let segDone = 0; // 已返回(含失败)的段数(进度分子)
let busyTimer = null; // 「识别中」提示的秒表(1s 一跳)
let busyStartAt = 0;
let inflight = []; // 本轮各段的落定 promise(收口要等全它们)
let waiting = []; // 等名额的段(在飞满了才排)
let active = 0; // 正在飞的请求数
let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃
let streamOn = false; // 是否接受 PCM 分片
let flushTimer = null;
@@ -86,6 +97,8 @@
const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关)
const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉
const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限)
const VAD_SOFT_CUT_SEC = 6; // 累计语音超过这么久 → 在低能量处先切一刀发出去
const VAD_SOFT_WINDOW_SEC = 3; // 软切只在尾部这个窗口里找切点(不切在很久以前)
// 电平与渲染
let rafId = 0;
@@ -115,10 +128,35 @@
if (overlay) overlay.classList.toggle('cancel', m === 'cancel');
if (hintEl) {
hintEl.textContent = m === 'cancel' ? '松开取消'
: m === 'busy' ? '正在识别…' : '松手传送,上滑取消';
: m === 'busy' ? busyHintText() : '松手传送,上滑取消';
}
}
// 「识别中」的进度提示:段数是真实进度(一段一次转写),秒数让长时间等待时数字也在动,
// 不至于看着像卡住。只有一段时不显示 0/1(那看着也像没进展),只留秒数。
function busyHintText() {
const sec = Math.max(0, Math.floor((Date.now() - busyStartAt) / 1000));
if (segSent > 1) {
return '正在识别 ' + Math.min(segDone, segSent) + '/' + segSent + ' 段 · ' + sec + 's';
}
return '正在识别… ' + sec + 's';
}
function refreshBusyHint() {
if (hintEl && phase === 'busy') hintEl.textContent = busyHintText();
}
function stopBusyTicker() {
if (busyTimer) { clearInterval(busyTimer); busyTimer = null; }
}
function startBusyTicker() {
stopBusyTicker();
busyStartAt = Date.now();
refreshBusyHint();
busyTimer = setInterval(refreshBusyHint, 1000);
}
function renderBars(level, animate) {
if (!bars.length) return;
const t = Date.now() / 1000;
@@ -260,6 +298,7 @@
pressing = false;
pressY = 0;
discard = false;
stopBusyTicker();
abortStream();
if (stopTimer) { clearTimeout(stopTimer); stopTimer = null; }
hold.classList.remove('recording');
@@ -302,6 +341,8 @@
if (phase !== 'idle') return;
pressing = true;
discard = false;
segSent = 0;
segDone = 0;
hold.classList.add('recording');
setHoldText('松开 结束');
showOverlay();
@@ -312,6 +353,7 @@
phase = 'recording';
recordStartAt = Date.now();
gen++; // 新会话:让上一轮迟到的结果全部失效
inflight = []; // 上一轮的在途请求不再计入本轮收口
streamOn = true;
pcmRate = 16000;
clearSeg();
@@ -349,6 +391,7 @@
gen++;
pcmRate = OUT_RATE;
streamOn = true;
inflight = [];
clearSeg();
textParts = [];
if (!startCapture()) {
@@ -371,7 +414,7 @@
phase = 'busy';
hold.classList.remove('recording');
setHoldText(discard ? '按住 说话' : '正在识别…');
// 遮罩留着,文案换成「正在识别…」;柱子停在低位,等结果回来再收
// 遮罩留着,文案换成动态识别进度;柱子停在低位,等结果回来再收
setOverlayMode(discard ? 'send' : 'busy');
stopMeter();
@@ -387,6 +430,7 @@
// 两条路收口完全一样:把不足一个停顿的尾巴发走(纯静音的尾巴不发),再等所有段回来。
// 大部分段在说话过程中已经识别完了,这里通常只等最后一段。
flushTail();
startBusyTicker(); // 尾巴已进队列:现在才有准确的总段数,从这一刻开始计时
if (native) {
try {
native.stopVoice();
@@ -535,7 +579,39 @@
return out;
}
function clearSeg() { segChunks = []; segLen = 0; silLen = 0; }
function clearSeg() { segChunks = []; segLens = []; segDbs = []; segLen = 0; silLen = 0; }
// 长说不停顿是最慢的路径:没有 0.5s 停顿就一段都发不出去,只能憋到松手整段上传。
// 所以累计语音到 VAD_SOFT_CUT_SEC 后,在尾部窗口里挑能量最低的分片边界先切一刀,
// 后面的继续累积。真静音切点依然优先(更自然),这里只解决「一直说个没完」。
function softCutChunk() {
const win = Math.floor(pcmRate * VAD_SOFT_WINDOW_SEC);
let from = segChunks.length - 1; // 窗口起点分片下标
let acc = 0;
for (let i = segChunks.length - 1; i >= 0; i--) {
acc += segLens[i];
from = i;
if (acc >= win) break;
}
let best = from;
for (let i = from + 1; i < segChunks.length; i++) {
if (segDbs[i] < segDbs[best]) best = i;
}
// 切在 best 之前(前 best 片发走);best 为 0 说明没有可切的前缀
return best > 0 ? best : -1;
}
// 从段头取走前 k 个分片发出去,剩下的留在缓冲里继续累积
function softCut(k) {
let n = 0;
for (let i = 0; i < k; i++) n += segLens[i];
emitSegment(n);
segChunks = segChunks.slice(k);
segLens = segLens.slice(k);
segDbs = segDbs.slice(k);
segLen -= n;
if (silLen > segLen) silLen = segLen; // 切点落在尾巴的静音里时,静音计数不能超过剩余长度
}
// 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。
// 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。
@@ -544,19 +620,43 @@
emit(encodeWav(takeSeg(n), pcmRate));
}
// 串行上传:一段没回来不发下一段(2 vCPU 上并发只会互相拖慢,而且顺序也没法保证)
// 每段切出来就发,不等上一段回来,但同时最多 ASR_MAX_CONCURRENCY 个。
// 名额是「谁落定谁交出去」,不按固定顺序等某一段:否则最慢那段会卡住本可以发的后续段。
// 并行返回是乱序的,所以结果按「提交时的下标」落位,拼接时仍按说话顺序。
function emit(blob) {
const my = gen;
chain = chain.then(function () {
if (my !== gen) return; // 已取消/重录:不再发
const idx = segSent++; // 分母:已提交的段数,同时是这一段结果的落位下标
const p = acquire().then(function () {
if (my !== gen) { release(); return; } // 已取消/重录:名额还回去,别再发
return req('POST', '/api/asr/transcribe', blob, true, 120000)
.then(function (r) {
if (my !== gen) return;
const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim();
if (t) textParts.push(t);
if (t) textParts[idx] = t;
})
.catch(function () { /* 单段失败不连坐,其余段照常出字 */ });
.catch(function () {
/* 单段失败不连坐,其余段照常出字;失败也算走完一段,进度才不会停在半路 */
})
.then(function () {
release(); // 不论成败都先腾名额
if (my !== gen) return;
segDone++;
refreshBusyHint();
});
});
inflight.push(p);
}
// 名额:没满直接拿;满了就排队,任一请求落定后把名额交给下一个(不按固定顺序)
function acquire() {
if (active < ASR_MAX_CONCURRENCY) { active++; return Promise.resolve(); }
return new Promise(function (res) { waiting.push(res); });
}
function release() {
const next = waiting.shift();
if (next) next(); // 名额直接转交,active 不变
else active--;
}
// 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格,
@@ -576,6 +676,7 @@
streamOn = false;
clearSeg();
textParts = [];
inflight = [];
gen++;
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
}
@@ -595,6 +696,8 @@
startLoop();
segChunks.push(pcm);
segLens.push(pcm.length);
segDbs.push(db);
segLen += pcm.length;
// 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义)
silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0;
@@ -608,6 +711,10 @@
// 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限)
emitSegment(segLen);
clearSeg();
} else if (segLen >= pcmRate * VAD_SOFT_CUT_SEC) {
// 说太久又没停顿:先在能量最低处切一刀(软切),别把整段憋到松手或 25s 硬切
const k = softCutChunk();
if (k > 0) softCut(k);
}
}
@@ -636,7 +743,11 @@
resetUI();
toast('语音识别超时');
}, FLUSH_MS);
chain = chain.then(function () {
// 并行发之后没有串行链可挂:等本轮全部段落定(含被限流挡着的)再收口。
// 逐个兜一层 catch:只要有一个 Promise 意外 reject,Promise.all 就整批失败,
// 收口逻辑永远不跑,只能等 60s 超时把已识别的内容全部丢掉。
const all = inflight.map(function (p) { return p.catch(function () {}); });
Promise.all(all).then(function () {
if (my !== gen) return;
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
const text = joinText(textParts);
+9 -2
View File
@@ -50,8 +50,12 @@ self.addEventListener('fetch', (event) => {
// 只处理同源
if (url.origin !== self.location.origin) return;
// 跳过 API/SSE/预览/交付取件,避免缓存动态数据(预览页需实时;/f/ 同链内容会随重新 save 变化)
if (url.pathname.startsWith('/api/') || url.pathname.startsWith('/sse') || url.pathname.startsWith('/preview') || url.pathname.startsWith('/f/')) return;
// 跳过 API/SSE/预览/交付取件,避免缓存动态数据(预览页需实时;/f/ 同链内容会随重新 save 变化)。
// /p/ 是公网短链(图片/文件直链):内容是二进制、带 TTL 的 bearer 能力,既不能当 HTML 文本重建,
// 也不该进缓存。漏掉它时点开图片外链会先被“导航”分支 fetch 两次、再按文本重建,结果是一张坏图,
// 日志里表现为每点一次成对出现两条 public-file 取用记录。
if (url.pathname.startsWith('/api/') || url.pathname.startsWith('/sse') || url.pathname.startsWith('/preview')
|| url.pathname.startsWith('/f/') || url.pathname.startsWith('/p/')) return;
// vendor 预览页发出的根绝对请求(fetch('/') 自刷新、EventSource('/events') 等,Referer 是预览页):
// 内容随文档变化,既不缓存,也不能把 office 文档页写进 '/' 这类 SPA 缓存键。
@@ -73,6 +77,9 @@ self.addEventListener('fetch', (event) => {
try {
const resp = await fetch(request);
if (!resp.ok || resp.type !== 'basic') return resp;
// 非 HTML 的导航(图片/PDF 等直链):二进制不能按文本重建,原样透传;
// 否则 resp.text() 会把像素解成替换字符,页面只剩空白/乱码。
if (!/text\/html/i.test(resp.headers.get('content-type') || '')) return resp;
last = { txt: await resp.text(), resp };
} catch (e) {
if (last) break; // 已有残破快照:降级返回它
+11 -2
View File
@@ -7,6 +7,10 @@
// 3. 只吐"签发时已校验过、且落在该会话任务目录内"的文件,这里再用 resolveInTask 复核一次。
//
// 挂在 auth.middleware **之前**(server.js),所以登录与否都能访问;未命中一律 404,不吐内部信息。
//
// 响应头按扩展名分两路:图片(png/jpg/webp/gif/.../svg)走 inline + 明确 image/*,
// 用户或外部服务点开链接就能直接看图;其余一律 attachment,交给下载器
// (安卓封装壳的 DownloadManager 只认 attachment,下载语义不能改)。
'use strict';
const fs = require('fs');
@@ -14,7 +18,7 @@ const express = require('express');
const engine = require('../engine');
const publicFiles = require('../public-files');
const { resolveInTask } = require('../tools/executor');
const { sendDownload } = require('../download-send');
const { sendDownload, sendInlineImage, inlineImageType } = require('../download-send');
const log = require('../log');
const router = express.Router();
@@ -31,7 +35,12 @@ router.get('/:id', function (req, res) {
return res.status(404).type('text/plain').send('not found\n');
}
log.info('public-file', entry.sessionId + ' 外部取用:' + entry.rel);
// 图片单独走 inline:用户点开 /p/<id> 是要看图,不是要下载文件。安卓封装壳 / WebView
// 对 Content-Disposition: attachment 一律交系统下载器,图片外链因此“只下载、不打开”。
// 其余类型保持原下载语义(PDF/Office 等交给下载器或外部服务自己处理)。
const imgType = inlineImageType(abs);
log.info('public-file', entry.sessionId + ' 外部取用' + (imgType ? '(图片,inline)' : '(附件)') + ':' + entry.rel);
if (imgType) return sendInlineImage(res, abs, imgType);
sendDownload(res, abs);
});
+1 -1
View File
@@ -15,7 +15,7 @@ const router = express.Router();
const STARTED_AT = Date.now();
// 版本以本文件字面量为准:容器部署只挂载 app/server,镜像里的 package.json 可能是旧的,
// 读它会一直显示发版时的版本号(之前 2.1.0 改完仍显 2.0.0 即此因)。发版时记得同步这里。
const VERSION = '2.4.0';
const VERSION = '2.5.0';
// git 提交号单独返回(提交时 post-commit 钩子自动生成),前端只显示简洁版本号
const VERSION_COMMIT = versionInfo.commit || '';
+1 -1
View File
@@ -21,7 +21,7 @@ log.setLevel(cfg.log_level); // 分级日志开关(log.js;config.yml log_level,
llm.setPayloadTrim(cfg.agent); // 历史重放的重负载占位裁剪规则(llm.buildMessages;config agent.trim.rules)
// 启动时把生效规则打出来:工具名拼错不会报错(MCP 工具要等发现后才存在),只能靠这行核对。
log.info('startup', '历史重放占位裁剪:' + (((cfg.agent && cfg.agent.trim && cfg.agent.trim.rules) || [])
.map(r => r.tool + '/' + r.side + '≥' + r.rounds + '轮').join(', ') || '关闭'));
.map(r => r.tool + '/' + r.side + '(轮≥' + r.rounds + ',回合≥' + r.turns + ')').join(', ') || '关闭'));
const db = initDb(cfg.db_path);
const bus = createBus();
+4 -2
View File
@@ -67,8 +67,10 @@ system prompt 不重复 schema 已表达的内容。
tools 数组每轮请求完整重发。新工具进来时,先问"能不能装进已有工具",再问"要不要新建"。
回执/参数里可能很大的内容,若**可再生**(文件在盘上可重读、页面可重抓)或只是当时快照,
可在 `agent.trim.rules` 登记历史重放占位裁剪:距尾 ≥N 个 assistant 轮后换成单行占位
(`app/server/llm.js` 的 `setPayloadTrim`;`side: args` 点名参数、`side: result` 裁整段回执)。
可在 `agent.trim.rules` 登记历史重放占位裁剪:同时满足「其后 ≥rounds 条 assistant 行」与
「其后 ≥turns 条真人消息」后换成单行占位(`app/server/llm.js` 的 `setPayloadTrim`;
`side: args` 点名参数、`side: result` 裁整段回执)。`turns: 1` = 回合内不裁、跨回合才裁;
长回合里会被反复回看的内容(如 `read_file` 的分段)应配它,否则模型会把同一段重读一遍。
一次性输出(`terminal`、外部服务扣额度的生成结果等)不要登记——裁掉后模型无法恢复。
### 九、回执形态
+6 -2
View File
@@ -22,6 +22,8 @@
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
一直不停顿地长说时,累计约 6s 会在**能量最低的分片边界**先切一刀(软切)→ 同样先发出去,
否则整段只能憋到松手才上传(这是最慢的路径)。
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。
@@ -35,7 +37,7 @@
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
0.5s 停顿与 25s 段长都是按 16k 估算的。
0.5s 停顿、6s 软切与 25s 段长都是按 16k 估算的。
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
@@ -371,7 +373,9 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie
```
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面串行发送,保证拼接顺序。
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面**并行**发送,
结果按提交时的下标落位,拼接仍按说话顺序(并行返回是乱序的)。
并发上限由 `voice.js` 的 `ASR_MAX_CONCURRENCY` 控制(默认 3),超出的排到后面等前面落定。
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。