Compare commits
2
Commits
03cf4b86e4
...
b4755ac98b
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
b4755ac98b | ||
|
|
df1b1787e9 |
@@ -36,6 +36,9 @@
|
||||
const MAX_MS = 180000; // 单次录音上限(流式上传后不再受 60s 限制)
|
||||
const MIN_MS = 500; // 短于这个时长按误触处理,不上传
|
||||
const FLUSH_MS = 60000; // 松手后等尾段识别完的上限(超过就当失败)
|
||||
// 转写请求的并发上限:段一碎(6s 软切)并发就会很多,全放出去会把上游压垮、
|
||||
// 也可能被限流。超过就排到后面,等前面的落定再发。改完刷新页面即生效。
|
||||
const ASR_MAX_CONCURRENCY = 3;
|
||||
const OUT_RATE = 16000; // 页面内部统一按 16k 处理:VAD 时长与段长上限都按它算
|
||||
const BAR_COUNT = 45; // 声波柱数(要足够宽,手指按住时两侧仍能看到)
|
||||
|
||||
@@ -73,14 +76,18 @@
|
||||
// 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传
|
||||
let pcmRate = 16000; // 当前流的采样率(契约要求 16k)
|
||||
let segChunks = []; // 当前段的 PCM 分片(Int16Array)
|
||||
let segLens = []; // 各分片采样数(与 segChunks 平行:软切要按采样换算边界)
|
||||
let segDbs = []; // 各分片峰值 dB(与 segChunks 平行:软切要找能量最低的边界)
|
||||
let segLen = 0; // 当前段总采样数
|
||||
let silLen = 0; // 段尾连续静音采样数
|
||||
let textParts = []; // 各段识别结果(按顺序)
|
||||
let textParts = []; // 各段识别结果,按提交顺序占位(并行返回是乱序的)
|
||||
let segSent = 0; // 本轮已提交转写的段数(进度分母)
|
||||
let segDone = 0; // 已返回(含失败)的段数(进度分子)
|
||||
let busyTimer = null; // 「识别中」提示的秒表(1s 一跳)
|
||||
let busyStartAt = 0;
|
||||
let chain = Promise.resolve(); // 串行上传链:保证拼接顺序 = 说话顺序
|
||||
let inflight = []; // 本轮各段的落定 promise(收口要等全它们)
|
||||
let waiting = []; // 等名额的段(在飞满了才排)
|
||||
let active = 0; // 正在飞的请求数
|
||||
let gen = 0; // 会话代号:取消/重录后迟到结果直接丢弃
|
||||
let streamOn = false; // 是否接受 PCM 分片
|
||||
let flushTimer = null;
|
||||
@@ -90,6 +97,8 @@
|
||||
const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关)
|
||||
const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉
|
||||
const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限)
|
||||
const VAD_SOFT_CUT_SEC = 6; // 累计语音超过这么久 → 在低能量处先切一刀发出去
|
||||
const VAD_SOFT_WINDOW_SEC = 3; // 软切只在尾部这个窗口里找切点(不切在很久以前)
|
||||
|
||||
// 电平与渲染
|
||||
let rafId = 0;
|
||||
@@ -344,6 +353,7 @@
|
||||
phase = 'recording';
|
||||
recordStartAt = Date.now();
|
||||
gen++; // 新会话:让上一轮迟到的结果全部失效
|
||||
inflight = []; // 上一轮的在途请求不再计入本轮收口
|
||||
streamOn = true;
|
||||
pcmRate = 16000;
|
||||
clearSeg();
|
||||
@@ -381,6 +391,7 @@
|
||||
gen++;
|
||||
pcmRate = OUT_RATE;
|
||||
streamOn = true;
|
||||
inflight = [];
|
||||
clearSeg();
|
||||
textParts = [];
|
||||
if (!startCapture()) {
|
||||
@@ -568,7 +579,39 @@
|
||||
return out;
|
||||
}
|
||||
|
||||
function clearSeg() { segChunks = []; segLen = 0; silLen = 0; }
|
||||
function clearSeg() { segChunks = []; segLens = []; segDbs = []; segLen = 0; silLen = 0; }
|
||||
|
||||
// 长说不停顿是最慢的路径:没有 0.5s 停顿就一段都发不出去,只能憋到松手整段上传。
|
||||
// 所以累计语音到 VAD_SOFT_CUT_SEC 后,在尾部窗口里挑能量最低的分片边界先切一刀,
|
||||
// 后面的继续累积。真静音切点依然优先(更自然),这里只解决「一直说个没完」。
|
||||
function softCutChunk() {
|
||||
const win = Math.floor(pcmRate * VAD_SOFT_WINDOW_SEC);
|
||||
let from = segChunks.length - 1; // 窗口起点分片下标
|
||||
let acc = 0;
|
||||
for (let i = segChunks.length - 1; i >= 0; i--) {
|
||||
acc += segLens[i];
|
||||
from = i;
|
||||
if (acc >= win) break;
|
||||
}
|
||||
let best = from;
|
||||
for (let i = from + 1; i < segChunks.length; i++) {
|
||||
if (segDbs[i] < segDbs[best]) best = i;
|
||||
}
|
||||
// 切在 best 之前(前 best 片发走);best 为 0 说明没有可切的前缀
|
||||
return best > 0 ? best : -1;
|
||||
}
|
||||
|
||||
// 从段头取走前 k 个分片发出去,剩下的留在缓冲里继续累积
|
||||
function softCut(k) {
|
||||
let n = 0;
|
||||
for (let i = 0; i < k; i++) n += segLens[i];
|
||||
emitSegment(n);
|
||||
segChunks = segChunks.slice(k);
|
||||
segLens = segLens.slice(k);
|
||||
segDbs = segDbs.slice(k);
|
||||
segLen -= n;
|
||||
if (silLen > segLen) silLen = segLen; // 切点落在尾巴的静音里时,静音计数不能超过剩余长度
|
||||
}
|
||||
|
||||
// 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。
|
||||
// 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。
|
||||
@@ -577,27 +620,43 @@
|
||||
emit(encodeWav(takeSeg(n), pcmRate));
|
||||
}
|
||||
|
||||
// 串行上传:一段没回来不发下一段(2 vCPU 上并发只会互相拖慢,而且顺序也没法保证)
|
||||
// 每段切出来就发,不等上一段回来,但同时最多 ASR_MAX_CONCURRENCY 个。
|
||||
// 名额是「谁落定谁交出去」,不按固定顺序等某一段:否则最慢那段会卡住本可以发的后续段。
|
||||
// 并行返回是乱序的,所以结果按「提交时的下标」落位,拼接时仍按说话顺序。
|
||||
function emit(blob) {
|
||||
const my = gen;
|
||||
segSent++; // 分母:已提交的段数(含排队中的)
|
||||
chain = chain.then(function () {
|
||||
if (my !== gen) return; // 已取消/重录:不再发
|
||||
const idx = segSent++; // 分母:已提交的段数,同时是这一段结果的落位下标
|
||||
const p = acquire().then(function () {
|
||||
if (my !== gen) { release(); return; } // 已取消/重录:名额还回去,别再发
|
||||
return req('POST', '/api/asr/transcribe', blob, true, 120000)
|
||||
.then(function (r) {
|
||||
if (my !== gen) return;
|
||||
segDone++;
|
||||
const t = String((r && r.text) || '').replace(/\s+/g, ' ').trim();
|
||||
if (t) textParts.push(t);
|
||||
refreshBusyHint();
|
||||
if (t) textParts[idx] = t;
|
||||
})
|
||||
.catch(function () {
|
||||
/* 单段失败不连坐,其余段照常出字;失败也算走完一段,进度才不会停在半路 */
|
||||
})
|
||||
.then(function () {
|
||||
release(); // 不论成败都先腾名额
|
||||
if (my !== gen) return;
|
||||
segDone++;
|
||||
refreshBusyHint();
|
||||
});
|
||||
});
|
||||
inflight.push(p);
|
||||
}
|
||||
|
||||
// 名额:没满直接拿;满了就排队,任一请求落定后把名额交给下一个(不按固定顺序)
|
||||
function acquire() {
|
||||
if (active < ASR_MAX_CONCURRENCY) { active++; return Promise.resolve(); }
|
||||
return new Promise(function (res) { waiting.push(res); });
|
||||
}
|
||||
|
||||
function release() {
|
||||
const next = waiting.shift();
|
||||
if (next) next(); // 名额直接转交,active 不变
|
||||
else active--;
|
||||
}
|
||||
|
||||
// 拼接各段:中文直接相连;两侧都是西文字母/数字时补一个空格,
|
||||
@@ -617,6 +676,7 @@
|
||||
streamOn = false;
|
||||
clearSeg();
|
||||
textParts = [];
|
||||
inflight = [];
|
||||
gen++;
|
||||
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
||||
}
|
||||
@@ -636,6 +696,8 @@
|
||||
startLoop();
|
||||
|
||||
segChunks.push(pcm);
|
||||
segLens.push(pcm.length);
|
||||
segDbs.push(db);
|
||||
segLen += pcm.length;
|
||||
// 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义)
|
||||
silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0;
|
||||
@@ -649,6 +711,10 @@
|
||||
// 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限)
|
||||
emitSegment(segLen);
|
||||
clearSeg();
|
||||
} else if (segLen >= pcmRate * VAD_SOFT_CUT_SEC) {
|
||||
// 说太久又没停顿:先在能量最低处切一刀(软切),别把整段憋到松手或 25s 硬切
|
||||
const k = softCutChunk();
|
||||
if (k > 0) softCut(k);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -677,7 +743,11 @@
|
||||
resetUI();
|
||||
toast('语音识别超时');
|
||||
}, FLUSH_MS);
|
||||
chain = chain.then(function () {
|
||||
// 并行发之后没有串行链可挂:等本轮全部段落定(含被限流挡着的)再收口。
|
||||
// 逐个兜一层 catch:只要有一个 Promise 意外 reject,Promise.all 就整批失败,
|
||||
// 收口逻辑永远不跑,只能等 60s 超时把已识别的内容全部丢掉。
|
||||
const all = inflight.map(function (p) { return p.catch(function () {}); });
|
||||
Promise.all(all).then(function () {
|
||||
if (my !== gen) return;
|
||||
if (flushTimer) { clearTimeout(flushTimer); flushTimer = null; }
|
||||
const text = joinText(textParts);
|
||||
|
||||
+6
-2
@@ -22,6 +22,8 @@
|
||||
|
||||
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
|
||||
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
|
||||
一直不停顿地长说时,累计约 6s 会在**能量最低的分片边界**先切一刀(软切)→ 同样先发出去,
|
||||
否则整段只能憋到松手才上传(这是最慢的路径)。
|
||||
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
|
||||
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
|
||||
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。
|
||||
@@ -35,7 +37,7 @@
|
||||
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
|
||||
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
|
||||
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
|
||||
0.5s 停顿与 25s 段长都是按 16k 估算的。
|
||||
0.5s 停顿、6s 软切与 25s 段长都是按 16k 估算的。
|
||||
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
|
||||
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
|
||||
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
|
||||
@@ -371,7 +373,9 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie
|
||||
```
|
||||
|
||||
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
|
||||
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面串行发送,保证拼接顺序。
|
||||
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面**并行**发送,
|
||||
结果按提交时的下标落位,拼接仍按说话顺序(并行返回是乱序的)。
|
||||
并发上限由 `voice.js` 的 `ASR_MAX_CONCURRENCY` 控制(默认 3),超出的排到后面等前面落定。
|
||||
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
|
||||
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
|
||||
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。
|
||||
|
||||
Reference in New Issue
Block a user