5 Commits
Author SHA1 Message Date
kicer 62e5902834 版本号升到 2.5.0:收口语音输入这一批改动
- 语音:长说不带停顿按能量最低点软切、转写并行发送并限流 3
- 语音:识别提示改动态进度(段数 + 秒数)
- 鸿蒙 APK 长按时按住区不再随遮罩隐藏
- 公网临时链接:图片改 inline 返回,sw.js 放行 /p/ 二进制直链
- package.json 与 routes/system.js 的 VERSION 同步为 2.5.0(发版约定)
2026-11-11 10:16:02 +08:00
kicer b4755ac98b 转写请求改并行发送并限流:最多 3 个在飞,名额谁落定谁交出去
串行上传(一段没回来不发下一段)让长语音的松手等待等于各段耗时之和,
上游一慢就整体排队。改成并行,同时限制并发数避免压垮上游:

- 并发上限 ASR_MAX_CONCURRENCY = 3(页面侧常量,改完刷新即生效)
- 名额制而不是「第 i 段等第 i-N 段」:后者的伪阻塞在于最慢那段会卡住
  本可以发的后续段(只飞 1 个时,排队的第 7 段也要一直等)
- 名额在成功/失败后都归还,单段失败不吞名额
- 取消/重录:被唤醒的排队段看到 gen 变了只还名额、不真发,计数不漏
- 结果按 textParts[idx] 落位:并行返回是乱序的,拼接仍按说话顺序
- 收口改成 Promise.all(inflight),逐个兜 catch,避免单段异常让整批失败、
  只能等 60s 超时把已识别内容全丢掉
2026-11-11 09:25:07 +08:00
kicer df1b1787e9 长说不带停顿时按能量最低点软切:6s 先发一段,不再憋到松手
一口气说不停顿是语音输入最慢的路径:没有 0.5s 停顿就一段都发不出去,
只能等松手整段上传。改成累计语音到 6s 就在低能量处分段发出:

- 只在尾部 3s 窗口里找切点:太靠前会把很久以前的低点当作刀口
- 切点按分片边界取:每片已有峰值 dB(与 segChunks 平行的 segLens/segDbs),
  取最小者下刀,尾部静音是 -Infinity 会天然胜出 → 落在气口上
- 切完剩下的留在缓冲继续累积,不丢采样、不重复;真静音切点仍优先
- 25s 硬切保留作兜底(软切一直不成立时才会走到)
- silLen 在切后被钳到剩余长度:切点落在尾巴静音里时不能超过段长

代价:刀口是分片粒度(APK 约 100ms),可能劈在字中间,所以段更短;
调大 VAD_SOFT_CUT_SEC 可让切点更可能落在真实气口。
2026-11-11 09:11:32 +08:00
kicer 03cf4b86e4 语音松手后的识别提示改为动态进度:段数 + 秒数
「正在识别…」是静态文案,上游慢时看着像卡死。改成按真实进度变化:

- 多段:正在识别 2/3 段 · 5s(每完成一段分子加一)
- 单段:正在识别… 5s(0/1 看着也像没进展,只留秒数)
- 秒数 1s 一跳,从松手(尾巴已入队)才开始算,说话过程不计时
- 失败也算走完一段,进度不会停在半路
- resetUI 统一 clearInterval:取消/超时/完成/切模式都不会漏
2026-11-11 08:55:40 +08:00
kicer 7641f5c0a7 鸿蒙长按时按住区不再随遮罩隐藏:避免指针捕获被释放而误判“说话太短”
按下后 body.voice-active 会把输入卡所有子项设成 visibility:hidden,#voice-hold 也在内。
它是 pointerdown 里 setPointerCapture 的持有者,鸿蒙 ArkWeb 在元素不可见时会释放捕获并
补一个 pointercancel,页面把它当成“松手”→ 按住不到 500ms → 丢弃并提示“说话时间太短”,
表现就是长按立刻失效、按钮像丢了状态。

- 只把 #voice-hold 排除在隐藏规则外(遮罩覆盖这一段本来就不透明,视觉无差别)
- 其余元素(输入框、操作栏等)的隐藏行为保持不变
- 未改 JS:录音状态机、取消手势阈值、识别流程都不动

真机确认有效后再看是否需要处理 setPointerCapture 与长按序列打断。
2026-11-11 08:48:14 +08:00
5 changed files with 135 additions and 16 deletions
+1 -1
View File
@@ -1,6 +1,6 @@
{ {
"name": "agent-app", "name": "agent-app",
"version": "2.4.0", "version": "2.5.0",
"description": "自用通用 Agent 系统:多模型调度 + 任务目录 + 工具调用 + H5 Web UI", "description": "自用通用 Agent 系统:多模型调度 + 任务目录 + 工具调用 + H5 Web UI",
"main": "server/server.js", "main": "server/server.js",
"scripts": { "scripts": {
+5 -1
View File
@@ -440,7 +440,11 @@ footer { position: relative; flex: none; padding: 8px 12px calc(10px + var(--sab
/* 录音期间:输入卡内容整体让位给遮罩(遮罩不再透光,按钮/文字留着会和提示叠字) */ /* 录音期间:输入卡内容整体让位给遮罩(遮罩不再透光,按钮/文字留着会和提示叠字) */
body.voice-active .input-shell { border-color: transparent; box-shadow: none; } body.voice-active .input-shell { border-color: transparent; box-shadow: none; }
body.voice-active .input-shell > *:not(#voice-overlay) { visibility: hidden; } /* #voice-hold 不能一起藏:它是 pointerdown 时 setPointerCapture 的持有者,一按下就变成
visibility:hidden 时鸿蒙 ArkWeb 会释放捕获并补一个 pointercancel,页面把它当成“松手”
→ 按住不到 500ms → 误报“说话时间太短”。遮罩覆盖这一段本来就不透明(var(--page)),
留着按住区视觉上没有差别。 */
body.voice-active .input-shell > *:not(#voice-overlay):not(#voice-hold) { visibility: hidden; }
body.voice-active .attach-chips { visibility: hidden; } body.voice-active .attach-chips { visibility: hidden; }
body.voice-active .scroll-bottom-btn { display: none; } body.voice-active .scroll-bottom-btn { display: none; }
+122 -11
View File
@@ -36,6 +36,9 @@
const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制) const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制)
const MIN_MS = 500; // 短于这个时长按误触处理,不上传 const MIN_MS = 500; // 短于这个时长按误触处理,不上传
const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败) const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败)
// 转写请求的并发上限:段一碎(6s 软切)并发就会很多,全放出去会把上游压垮、
// 也可能被限流。超过就排到后面,等前面的落定再发。改完刷新页面即生效。
const ASR_MAX_CONCURRENCY = 3;
const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算 const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算
const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到) const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到)
@@ -73,10 +76,18 @@
// 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传 // 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传
let pcmRate = 16000; // 当前流的采样率(契约要求 16k) let pcmRate = 16000; // 当前流的采样率(契约要求 16k)
let segChunks = []; // 当前段的 PCM 分片(Int16Array) let segChunks = []; // 当前段的 PCM 分片(Int16Array)
let segLens = []; // 各分片采样数(与 segChunks 平行:软切要按采样换算边界)
let segDbs = []; // 各分片峰值 dB(与 segChunks 平行:软切要找能量最低的边界)
let segLen = 0; // 当前段总采样数 let segLen = 0; // 当前段总采样数
let silLen = 0; // 段尾连续静音采样数 let silLen = 0; // 段尾连续静音采样数
let textParts = []; // 各段识别结果(按顺序) let textParts = []; // 各段识别结果,按提交顺序占位(并行返回是乱序的)
let chain = Promise.resolve(); // 串行上传链:保证拼接顺序 = 说话顺序 let segSent = 0; // 本轮已提交转写的段数(进度分母)
let segDone = 0; // 已返回(含失败)的段数(进度分子)
let busyTimer = null; // 「识别中」提示的秒表(1s 一跳)
let busyStartAt = 0;
let inflight = []; // 本轮各段的落定 promise(收口要等全它们)
let waiting = []; // 等名额的段(在飞满了才排)
let active = 0; // 正在飞的请求数
let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃 let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃
let streamOn = false; // 是否接受 PCM 分片 let streamOn = false; // 是否接受 PCM 分片
let flushTimer = null; let flushTimer = null;
@@ -86,6 +97,8 @@
const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关) const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关)
const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉 const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉
const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限) const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限)
const VAD_SOFT_CUT_SEC = 6; // 累计语音超过这么久 → 在低能量处先切一刀发出去
const VAD_SOFT_WINDOW_SEC = 3; // 软切只在尾部这个窗口里找切点(不切在很久以前)
// 电平与渲染 // 电平与渲染
let rafId = 0; let rafId = 0;
@@ -115,10 +128,35 @@
if (overlay) overlay.classList.toggle('cancel', m === 'cancel'); if (overlay) overlay.classList.toggle('cancel', m === 'cancel');
if (hintEl) { if (hintEl) {
hintEl.textContent = m === 'cancel' ? '松开取消' hintEl.textContent = m === 'cancel' ? '松开取消'
: m === 'busy' ? '正在识别…' : '松手传送,上滑取消'; : m === 'busy' ? busyHintText() : '松手传送,上滑取消';
} }
} }
// 「识别中」的进度提示:段数是真实进度(一段一次转写),秒数让长时间等待时数字也在动,
// 不至于看着像卡住。只有一段时不显示 0/1(那看着也像没进展),只留秒数。
function busyHintText() {
const sec = Math.max(0, Math.floor((Date.now() - busyStartAt) / 1000));
if (segSent > 1) {
return '正在识别 ' + Math.min(segDone, segSent) + '/' + segSent + ' 段 · ' + sec + 's';
}
return '正在识别… ' + sec + 's';
}
function refreshBusyHint() {
if (hintEl && phase === 'busy') hintEl.textContent = busyHintText();
}
function stopBusyTicker() {
if (busyTimer) { clearInterval(busyTimer); busyTimer = null; }
}
function startBusyTicker() {
stopBusyTicker();
busyStartAt = Date.now();
refreshBusyHint();
busyTimer = setInterval(refreshBusyHint, 1000);
}
function renderBars(level, animate) { function renderBars(level, animate) {
if (!bars.length) return; if (!bars.length) return;
const t = Date.now() / 1000; const t = Date.now() / 1000;
@@ -260,6 +298,7 @@
pressing = false; pressing = false;
pressY = 0; pressY = 0;
discard = false; discard = false;
stopBusyTicker();
abortStream(); abortStream();
if (stopTimer) { clearTimeout(stopTimer); stopTimer = null; } if (stopTimer) { clearTimeout(stopTimer); stopTimer = null; }
hold.classList.remove('recording'); hold.classList.remove('recording');
@@ -302,6 +341,8 @@
if (phase !== 'idle') return; if (phase !== 'idle') return;
pressing = true; pressing = true;
discard = false; discard = false;
segSent = 0;
segDone = 0;
hold.classList.add('recording'); hold.classList.add('recording');
setHoldText('松开 结束'); setHoldText('松开 结束');
showOverlay(); showOverlay();
@@ -312,6 +353,7 @@
phase = 'recording'; phase = 'recording';
recordStartAt = Date.now(); recordStartAt = Date.now();
gen++; // 新会话:让上一轮迟到的结果全部失效 gen++; // 新会话:让上一轮迟到的结果全部失效
inflight = []; // 上一轮的在途请求不再计入本轮收口
streamOn = true; streamOn = true;
pcmRate = 16000; pcmRate = 16000;
clearSeg(); clearSeg();
@@ -349,6 +391,7 @@
gen++; gen++;
pcmRate = OUT_RATE; pcmRate = OUT_RATE;
streamOn = true; streamOn = true;
inflight = [];
clearSeg(); clearSeg();
textParts = []; textParts = [];
if (!startCapture()) { if (!startCapture()) {
@@ -371,7 +414,7 @@
phase = 'busy'; phase = 'busy';
hold.classList.remove('recording'); hold.classList.remove('recording');
setHoldText(discard ? '按住 说话' : '正在识别…'); setHoldText(discard ? '按住 说话' : '正在识别…');
// 遮罩留着,文案换成「正在识别…」;柱子停在低位,等结果回来再收 // 遮罩留着,文案换成动态识别进度;柱子停在低位,等结果回来再收
setOverlayMode(discard ? 'send' : 'busy'); setOverlayMode(discard ? 'send' : 'busy');
stopMeter(); stopMeter();
@@ -387,6 +430,7 @@
// 两条路收口完全一样:把不足一个停顿的尾巴发走(纯静音的尾巴不发),再等所有段回来。 // 两条路收口完全一样:把不足一个停顿的尾巴发走(纯静音的尾巴不发),再等所有段回来。
// 大部分段在说话过程中已经识别完了,这里通常只等最后一段。 // 大部分段在说话过程中已经识别完了,这里通常只等最后一段。
flushTail(); flushTail();
startBusyTicker(); // 尾巴已进队列:现在才有准确的总段数,从这一刻开始计时
if (native) { if (native) {
try { try {
native.stopVoice(); native.stopVoice();
@@ -535,7 +579,39 @@
return out; return out;
} }
function clearSeg() { segChunks = []; segLen = 0; silLen = 0; } function clearSeg() { segChunks = []; segLens = []; segDbs = []; segLen = 0; silLen = 0; }
// 长说不停顿是最慢的路径:没有 0.5s 停顿就一段都发不出去,只能憋到松手整段上传。
// 所以累计语音到 VAD_SOFT_CUT_SEC 后,在尾部窗口里挑能量最低的分片边界先切一刀,
// 后面的继续累积。真静音切点依然优先(更自然),这里只解决「一直说个没完」。
function softCutChunk() {
const win = Math.floor(pcmRate * VAD_SOFT_WINDOW_SEC);
let from = segChunks.length - 1; // 窗口起点分片下标
let acc = 0;
for (let i = segChunks.length - 1; i >= 0; i--) {
acc += segLens[i];
from = i;
if (acc >= win) break;
}
let best = from;
for (let i = from + 1; i < segChunks.length; i++) {
if (segDbs[i] < segDbs[best]) best = i;
}
// 切在 best 之前(前 best 片发走);best 为 0 说明没有可切的前缀
return best > 0 ? best : -1;
}
// 从段头取走前 k 个分片发出去,剩下的留在缓冲里继续累积
function softCut(k) {
let n = 0;
for (let i = 0; i < k; i++) n += segLens[i];
emitSegment(n);
segChunks = segChunks.slice(k);
segLens = segLens.slice(k);
segDbs = segDbs.slice(k);
segLen -= n;
if (silLen > segLen) silLen = segLen; // 切点落在尾巴的静音里时,静音计数不能超过剩余长度
}
// 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。 // 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。
// 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。 // 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。
@@ -544,19 +620,43 @@
emit(encodeWav(takeSeg(n), pcmRate)); emit(encodeWav(takeSeg(n), pcmRate));
} }
// 串行上传:一段没回来不发下一段(2 vCPU 上并发只会互相拖慢,而且顺序也没法保证) // 每段切出来就发,不等上一段回来,但同时最多 ASR_MAX_CONCURRENCY 个。
// 名额是「谁落定谁交出去」,不按固定顺序等某一段:否则最慢那段会卡住本可以发的后续段。
// 并行返回是乱序的,所以结果按「提交时的下标」落位,拼接时仍按说话顺序。
function emit(blob) { function emit(blob) {
const my = gen; const my = gen;
chain = chain.then(function () { const idx = segSent++; // 分母:已提交的段数,同时是这一段结果的落位下标
if (my !== gen) return; // 已取消/重录:不再发 const p = acquire().then(function () {
if (my !== gen) { release(); return; } // 已取消/重录:名额还回去,别再发
return req('POST', '/api/asr/transcribe', blob, true, 120000) return req('POST', '/api/asr/transcribe', blob, true, 120000)
.then(function (r) { .then(function (r) {
if (my !== gen) return; if (my !== gen) return;
const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim(); const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim();
if (t) textParts.push(t); if (t) textParts[idx] = t;
}) })
.catch(function () { /* 单段失败不连坐,其余段照常出字 */ }); .catch(function () {
/* 单段失败不连坐,其余段照常出字;失败也算走完一段,进度才不会停在半路 */
})
.then(function () {
release(); // 不论成败都先腾名额
if (my !== gen) return;
segDone++;
refreshBusyHint();
}); });
});
inflight.push(p);
}
// 名额:没满直接拿;满了就排队,任一请求落定后把名额交给下一个(不按固定顺序)
function acquire() {
if (active < ASR_MAX_CONCURRENCY) { active++; return Promise.resolve(); }
return new Promise(function (res) { waiting.push(res); });
}
function release() {
const next = waiting.shift();
if (next) next(); // 名额直接转交,active 不变
else active--;
} }
// 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格, // 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格,
@@ -576,6 +676,7 @@
streamOn = false; streamOn = false;
clearSeg(); clearSeg();
textParts = []; textParts = [];
inflight = [];
gen++; gen++;
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; } if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
} }
@@ -595,6 +696,8 @@
startLoop(); startLoop();
segChunks.push(pcm); segChunks.push(pcm);
segLens.push(pcm.length);
segDbs.push(db);
segLen += pcm.length; segLen += pcm.length;
// 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义) // 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义)
silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0; silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0;
@@ -608,6 +711,10 @@
// 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限) // 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限)
emitSegment(segLen); emitSegment(segLen);
clearSeg(); clearSeg();
} else if (segLen >= pcmRate * VAD_SOFT_CUT_SEC) {
// 说太久又没停顿:先在能量最低处切一刀(软切),别把整段憋到松手或 25s 硬切
const k = softCutChunk();
if (k > 0) softCut(k);
} }
} }
@@ -636,7 +743,11 @@
resetUI(); resetUI();
toast('语音识别超时'); toast('语音识别超时');
}, FLUSH_MS); }, FLUSH_MS);
chain = chain.then(function () { // 并行发之后没有串行链可挂:等本轮全部段落定(含被限流挡着的)再收口。
// 逐个兜一层 catch:只要有一个 Promise 意外 reject,Promise.all 就整批失败,
// 收口逻辑永远不跑,只能等 60s 超时把已识别的内容全部丢掉。
const all = inflight.map(function (p) { return p.catch(function () {}); });
Promise.all(all).then(function () {
if (my !== gen) return; if (my !== gen) return;
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; } if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
const text = joinText(textParts); const text = joinText(textParts);
+1 -1
View File
@@ -15,7 +15,7 @@ const router = express.Router();
const STARTED_AT = Date.now(); const STARTED_AT = Date.now();
// 版本以本文件字面量为准:容器部署只挂载 app/server,镜像里的 package.json 可能是旧的, // 版本以本文件字面量为准:容器部署只挂载 app/server,镜像里的 package.json 可能是旧的,
// 读它会一直显示发版时的版本号(之前 2.1.0 改完仍显 2.0.0 即此因)。发版时记得同步这里。 // 读它会一直显示发版时的版本号(之前 2.1.0 改完仍显 2.0.0 即此因)。发版时记得同步这里。
const VERSION = '2.4.0'; const VERSION = '2.5.0';
// git 提交号单独返回(提交时 post-commit 钩子自动生成),前端只显示简洁版本号 // git 提交号单独返回(提交时 post-commit 钩子自动生成),前端只显示简洁版本号
const VERSION_COMMIT = versionInfo.commit || ''; const VERSION_COMMIT = versionInfo.commit || '';
+6 -2
View File
@@ -22,6 +22,8 @@
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。 1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。 2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
一直不停顿地长说时,累计约 6s 会在**能量最低的分片边界**先切一刀(软切)→ 同样先发出去,
否则整段只能憋到松手才上传(这是最慢的路径)。
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。 3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」) 4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。 → 等所有段回来 → **一次性**写进输入框 → 自动发送。
@@ -35,7 +37,7 @@
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。 `ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k, - 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD —— 小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
0.5s 停顿与 25s 段长都是按 16k 估算的。 0.5s 停顿、6s 软切与 25s 段长都是按 16k 估算的。
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势, - iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。 所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。 - 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
@@ -371,7 +373,9 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie
``` ```
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。 - 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面串行发送,保证拼接顺序。 - 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面**并行**发送,
结果按提交时的下标落位,拼接仍按说话顺序(并行返回是乱序的)。
并发上限由 `voice.js` 的 `ASR_MAX_CONCURRENCY` 控制(默认 3),超出的排到后面等前面落定。
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。 - 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了, - 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。 这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。