diff --git a/app/server/public/js/voice.js b/app/server/public/js/voice.js index af20418..fd3151a 100644 --- a/app/server/public/js/voice.js +++ b/app/server/public/js/voice.js @@ -73,6 +73,8 @@ // 流式:壳推的分片 / 浏览器自己采的分片,都在这里断句后逐段上传 let pcmRate = 16000; // 当前流的采样率(契约要求 16k) let segChunks = []; // 当前段的 PCM 分片(Int16Array) + let segLens = []; // 各分片采样数(与 segChunks 平行:软切要按采样换算边界) + let segDbs = []; // 各分片峰值 dB(与 segChunks 平行:软切要找能量最低的边界) let segLen = 0; // 当前段总采样数 let silLen = 0; // 段尾连续静音采样数 let textParts = []; // 各段识别结果(按顺序) @@ -90,6 +92,8 @@ const VAD_PAUSE_SEC = 0.5; // 连续静音这么久 → 断句(与壳无关) const VAD_MIN_SPEECH_SEC = 0.3; // 一段短于这个 → 当噪声丢掉 const VAD_MAX_SEG_SEC = 25; // 单段上限:连续说话没停顿就硬切(上游单次上限) + const VAD_SOFT_CUT_SEC = 6; // 累计语音超过这么久 → 在低能量处先切一刀发出去 + const VAD_SOFT_WINDOW_SEC = 3; // 软切只在尾部这个窗口里找切点(不切在很久以前) // 电平与渲染 let rafId = 0; @@ -568,7 +572,39 @@ return out; } - function clearSeg() { segChunks = []; segLen = 0; silLen = 0; } + function clearSeg() { segChunks = []; segLens = []; segDbs = []; segLen = 0; silLen = 0; } + + // 长说不停顿是最慢的路径:没有 0.5s 停顿就一段都发不出去,只能憋到松手整段上传。 + // 所以累计语音到 VAD_SOFT_CUT_SEC 后,在尾部窗口里挑能量最低的分片边界先切一刀, + // 后面的继续累积。真静音切点依然优先(更自然),这里只解决「一直说个没完」。 + function softCutChunk() { + const win = Math.floor(pcmRate * VAD_SOFT_WINDOW_SEC); + let from = segChunks.length - 1; // 窗口起点分片下标 + let acc = 0; + for (let i = segChunks.length - 1; i >= 0; i--) { + acc += segLens[i]; + from = i; + if (acc >= win) break; + } + let best = from; + for (let i = from + 1; i < segChunks.length; i++) { + if (segDbs[i] < segDbs[best]) best = i; + } + // 切在 best 之前(前 best 片发走);best 为 0 说明没有可切的前缀 + return best > 0 ? best : -1; + } + + // 从段头取走前 k 个分片发出去,剩下的留在缓冲里继续累积 + function softCut(k) { + let n = 0; + for (let i = 0; i < k; i++) n += segLens[i]; + emitSegment(n); + segChunks = segChunks.slice(k); + segLens = segLens.slice(k); + segDbs = segDbs.slice(k); + segLen -= n; + if (silLen > segLen) silLen = segLen; // 切点落在尾巴的静音里时,静音计数不能超过剩余长度 + } // 把当前段的前 n 个采样作为一段发出去(太短当噪声丢掉)。 // 注意:必须在 clearSeg() 之前调,takeSeg 要读 segChunks。 @@ -636,6 +672,8 @@ startLoop(); segChunks.push(pcm); + segLens.push(pcm.length); + segDbs.push(db); segLen += pcm.length; // 静音按「整片」判:一片约 20~100ms,足够分辨 0.5s 的停顿(再细也没意义) silLen = db < VAD_SILENCE_DB ? silLen + pcm.length : 0; @@ -649,6 +687,10 @@ // 一口气说了 25 秒没停顿:硬切(宁可切开也不能超上游上限) emitSegment(segLen); clearSeg(); + } else if (segLen >= pcmRate * VAD_SOFT_CUT_SEC) { + // 说太久又没停顿:先在能量最低处切一刀(软切),别把整段憋到松手或 25s 硬切 + const k = softCutChunk(); + if (k > 0) softCut(k); } } diff --git a/docs/voice-input.md b/docs/voice-input.md index 15c5363..288ecf6 100644 --- a/docs/voice-input.md +++ b/docs/voice-input.md @@ -22,6 +22,8 @@ 1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。 2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。 + 一直不停顿地长说时,累计约 6s 会在**能量最低的分片边界**先切一刀(软切)→ 同样先发出去, + 否则整段只能憋到松手才上传(这是最慢的路径)。 3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。 4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」) → 等所有段回来 → **一次性**写进输入框 → 自动发送。 @@ -35,7 +37,7 @@ `ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。 - 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k, 小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD —— - 0.5s 停顿与 25s 段长都是按 16k 估算的。 + 0.5s 停顿、6s 软切与 25s 段长都是按 16k 估算的。 - iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势, 所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。 - 浏览器只在安全上下文开麦:`http://` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。