浏览器语音输入改为流式断句:ScriptProcessor 采 PCM 降采样到 16k,与套壳共用 pushChunk 流水线
- 浏览器不再用 MediaRecorder 整段录后上传,改为 AudioContext + ScriptProcessor 实时采 PCM - 新增 downsampleTo16k():44.1k/48k 降采样到 16k,小数相位跨分片累计不漂移 - 抽出 pushChunk(),壳推的分片与浏览器采的分片汇到同一处做 VAD/切段/上传 - 电平统一用 PCM 峰值,删除 AnalyserNode;两条路收口都走 flushTail/waitFlush - 新增 primeAudioCtx():iOS Safari 需在手势里创建并 resume AudioContext - nativeStop():cancelVoice 缺失时退回 stopVoice,避免壳侧麦克风一直开着 - 同步 docs/voice-input.md
This commit is contained in:
+22
-8
@@ -1,30 +1,45 @@
|
||||
# 语音输入:客户端录音契约
|
||||
|
||||
链路是「按住说话 → 壳持续推 PCM → 页面按停顿切段并逐段转写 → 松手后一次性写入输入框并**自动发送**」。
|
||||
链路是「按住说话 → 端上持续送 PCM → 页面按停顿切段并逐段转写 → 松手后一次性写入输入框并**自动发送**」。
|
||||
|
||||
`public/js/voice.js` 按能力自己选录音方式:
|
||||
|
||||
| 页面环境 | 录音方式 | 实时断句 | 说明 |
|
||||
|---|---|---|---|
|
||||
| Android 套壳 App(WebView) | **原生 `AudioRecord` + JS 桥流式推 PCM** | ✅ | WebView 没有 Web Speech API;`http://` 页面也能用 |
|
||||
| 浏览器 / PWA(HTTPS) | `MediaRecorder` 整段录 | ❌(下一阶段) | 标准 `getUserMedia`,松手后整体上传 |
|
||||
| 浏览器 / PWA(HTTPS) | **`AudioContext` + `ScriptProcessor` 采 PCM** | ✅ | 降采样到 16k 后与套壳走**完全同一套** VAD/切段/上传 |
|
||||
| 纯浏览器(`http://<IP>`) | 不可用 | — | 非安全上下文,浏览器拒绝开麦 |
|
||||
|
||||
**为什么必须要流式**:录音只在松手后才上传的话,识别要等整段录完 + 整段识别,长语音尤其慢。
|
||||
流式之后,说话过程中的每个停顿都会立刻切段上传,**松手时通常只剩最后一段要等**。
|
||||
|
||||
两条录音路径只在「PCM 从哪来」上不同,进到 `pushChunk(pcm, rate)` 之后一模一样:
|
||||
电平、静音门限、断句、逐段上传、最后合并发送,代码只有一份。
|
||||
|
||||
---
|
||||
|
||||
## 一、交互与页面行为(壳只需要知道这些)
|
||||
|
||||
1. 用户按住 `#voice-hold` → 页面调 `startVoice()`,同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
|
||||
2. 壳开始推 PCM 分片;页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
|
||||
1. 用户按住 `#voice-hold` → 页面开始录音(套壳调 `startVoice()`,浏览器自己 `getUserMedia`),同时把整块输入区换成全宽遮罩(实时声波 + 提示文案)。
|
||||
2. 壳推 / 浏览器采的 PCM 进来后,页面自己判停顿(连续静音 ≥0.5s)→ 立即 POST 该段 → 结果攒在内存里。
|
||||
3. 手指上滑进入文案区 = 取消态;松手时处于取消态则**整轮丢弃**(已上传段的结果也丢掉),输入框保持原样。
|
||||
4. 松手 → 页面把尾巴里**有声音的部分**发出去(纯静音的尾巴不发,否则只会换来一次「没有可识别人声」)
|
||||
→ 等所有段回来 → **一次性**写进输入框 → 自动发送。
|
||||
5. 识别结果**不会边识别边显示**:遮罩/发送键本来就盖住了输入框,渐进文本用户看不到,
|
||||
所以统一在最后落到输入框里,用户拿到的是完整一句话。
|
||||
|
||||
### 浏览器 / PWA(HTTPS)的实现要点
|
||||
|
||||
- 采集:`getUserMedia` → `createMediaStreamSource` → `createScriptProcessor(1024, 1, 1)`。
|
||||
不用 `AudioWorklet` 是因为要多加载一个模块文件、且 `addModule` 是异步的(按下才加载会把开头几个字吞掉);
|
||||
`ScriptProcessor` 虽已标废弃,但 Chrome/Safari/Firefox 都还在,这点开销可忽略。
|
||||
- 降采样:浏览器采样率通常是 44.1k/48k,`downsampleTo16k()` 按「一个输出周期内取均值」降到 16k,
|
||||
小数相位跨分片累计(整数倍抽取会越录越快/越慢)。**不能**把 44.1k 直接喂进 VAD ——
|
||||
0.5s 停顿与 25s 段长都是按 16k 估算的。
|
||||
- iOS Safari:`AudioContext` 必须在手势里创建/resume;`await getUserMedia` 之后已脱离手势,
|
||||
所以按下(`pointerdown`)时就先把 ctx 建好,拿到麦克风后复用。
|
||||
- 浏览器只在安全上下文开麦:`http://<IP>` 下麦克风按钮不会出现,只有 HTTPS 域名(或套壳壳内)可用。
|
||||
|
||||
---
|
||||
|
||||
## 二、桥的契约
|
||||
@@ -345,8 +360,7 @@ webView.addJavascriptInterface(new VoiceBridge(this, webView), "AgentNative");
|
||||
|
||||
```http
|
||||
POST /api/asr/transcribe
|
||||
Content-Type: audio/wav # 套壳推的是 wav(页面自己加的 44 字节头);
|
||||
# 浏览器仍可能是 audio/mp4 / audio/webm
|
||||
Content-Type: audio/wav # 两条路都是 wav:页面自己加的 44 字节头(16k/单声道/16bit)
|
||||
Cookie: <登录态> # 与页面同一份 HttpOnly cookie
|
||||
|
||||
<音频二进制>
|
||||
@@ -357,9 +371,9 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie
|
||||
```
|
||||
|
||||
- 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。
|
||||
- 一次「按住说话」在套壳里会变成 **多次** 请求(每个停顿一次)。页面串行发送,保证拼接顺序。
|
||||
- 一次「按住说话」会变成 **多次** 请求(每个停顿一次,套壳与浏览器都是)。页面串行发送,保证拼接顺序。
|
||||
- 单段失败不影响其他段(页面侧吞掉单段错误,继续等下一段);全部失败才提示。
|
||||
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(套壳已经按停顿切好了,
|
||||
- 服务端只做**超长兜底**:一次请求超过 25s 才切,且切点尽量落在停顿处(端上已经按停顿切好了,
|
||||
这里多数请求根本不会触发切分)。参数见 `mcp/asr/README.md`。
|
||||
- `GET /api/asr/status` → `{"enabled": true}`;未接线时 `{"enabled": false, "reason": "..."}`。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user