kicer
|
b4755ac98b
|
转写请求改并行发送并限流:最多 3 个在飞,名额谁落定谁交出去
串行上传(一段没回来不发下一段)让长语音的松手等待等于各段耗时之和,
上游一慢就整体排队。改成并行,同时限制并发数避免压垮上游:
- 并发上限 ASR_MAX_CONCURRENCY = 3(页面侧常量,改完刷新即生效)
- 名额制而不是「第 i 段等第 i-N 段」:后者的伪阻塞在于最慢那段会卡住
本可以发的后续段(只飞 1 个时,排队的第 7 段也要一直等)
- 名额在成功/失败后都归还,单段失败不吞名额
- 取消/重录:被唤醒的排队段看到 gen 变了只还名额、不真发,计数不漏
- 结果按 textParts[idx] 落位:并行返回是乱序的,拼接仍按说话顺序
- 收口改成 Promise.all(inflight),逐个兜 catch,避免单段异常让整批失败、
只能等 60s 超时把已识别内容全丢掉
|
2026-11-11 09:25:07 +08:00 |
|
kicer
|
df1b1787e9
|
长说不带停顿时按能量最低点软切:6s 先发一段,不再憋到松手
一口气说不停顿是语音输入最慢的路径:没有 0.5s 停顿就一段都发不出去,
只能等松手整段上传。改成累计语音到 6s 就在低能量处分段发出:
- 只在尾部 3s 窗口里找切点:太靠前会把很久以前的低点当作刀口
- 切点按分片边界取:每片已有峰值 dB(与 segChunks 平行的 segLens/segDbs),
取最小者下刀,尾部静音是 -Infinity 会天然胜出 → 落在气口上
- 切完剩下的留在缓冲继续累积,不丢采样、不重复;真静音切点仍优先
- 25s 硬切保留作兜底(软切一直不成立时才会走到)
- silLen 在切后被钳到剩余长度:切点落在尾巴静音里时不能超过段长
代价:刀口是分片粒度(APK 约 100ms),可能劈在字中间,所以段更短;
调大 VAD_SOFT_CUT_SEC 可让切点更可能落在真实气口。
|
2026-11-11 09:11:32 +08:00 |
|
kicer
|
58b9eaddd4
|
浏览器语音输入改为流式断句:ScriptProcessor 采 PCM 降采样到 16k,与套壳共用 pushChunk 流水线
- 浏览器不再用 MediaRecorder 整段录后上传,改为 AudioContext + ScriptProcessor 实时采 PCM
- 新增 downsampleTo16k():44.1k/48k 降采样到 16k,小数相位跨分片累计不漂移
- 抽出 pushChunk(),壳推的分片与浏览器采的分片汇到同一处做 VAD/切段/上传
- 电平统一用 PCM 峰值,删除 AnalyserNode;两条路收口都走 flushTail/waitFlush
- 新增 primeAudioCtx():iOS Safari 需在手势里创建并 resume AudioContext
- nativeStop():cancelVoice 缺失时退回 stopVoice,避免壳侧麦克风一直开着
- 同步 docs/voice-input.md
|
2026-10-24 20:21:33 +08:00 |
|
kicer
|
b2b0f8d2b2
|
语音输入改为流式断句,服务端只做超长兜底切分
- 壳推 16k/单声道/16bit PCM 分片(onNativeVoiceChunk,~100ms 一片),
页面自己判停顿(≥0.5s 静音)断句、逐段串行上传;松手只 flush 剩下的话,
全部结果到齐后一次性写进输入框并自动发送
- 纯静音的尾巴不再上传(否则只会换来一次「没有可识别人声」)
- 删除 onNativeVoiceResult / onNativeVoiceAmp:声波改由页面用 PCM 峰值驱动
- 服务端不再逢停顿就切:≤25s 直接一次请求、不跑 silencedetect;
>25s 才在距上限最后 6s 的窗口里挑停顿中点,挑不到硬切,段数 ≈ 时长/25
(去掉 ASR_MAX_SEGMENTS 的 20 段退化分支)
- 上游 200 + 空 text 改判 400(这是「这段没人声」的正常结果,不再打堆栈)
- docs/voice-input.md 按新契约整篇重写(含 AudioRecord 参考骨架)
|
2026-10-24 20:11:25 +08:00 |
|
kicer
|
ceccb3645f
|
语音识别上游参数改为随请求带入,init.sh 不再绑定平台
- mcp_asr 不再从容器 env 读 key/base_url/model,改为逐请求 header
(Authorization / X-ASR-Base-Url / X-ASR-Model),容器不存任何平台密钥
- core 的 /api/asr 从 config.yml 的 mcp_servers[asr].headers 取值转发,
/status 增加 reason(未接线时前端 console 直接打印原因)
- init.sh 只自动启用模型平台与 web_search;image_task / video_task / asr
改为带默认 url 与 header 名的注释模板,删掉 ASR_API_* 输入与 BIGMODEL_KEY 复用
- docker-compose 去掉 mcp_asr 的三个上游 env
- 同步 README / AGENTS / app/config.example.yml / mcp 文档
|
2026-10-24 17:43:36 +08:00 |
|
kicer
|
53fa5da82b
|
新增语音输入(mcp_asr)与健康检查服务标识
语音输入:输入框为空时发送键变麦克风,进入语音模式后按住说话、松手转写并发送;套壳 App 走原生录音桥,浏览器走 MediaRecorder(需 HTTPS)。转写在 mcp_asr,经 /api/asr/transcribe 直达,不经过模型、不消耗 token。
/api/health 增加 service/api/auth_required 字段并设 no-store,供套壳 App 校验手填的服务器地址;免认证路径容忍尾斜杠,避免 /api/health/ 被中间件 401。
接线与文档:compose 新增 mcp_asr;init.sh 默认复用 BIGMODEL_KEY 作为 ASR_API_KEY;README/AGENTS/mcp 文档同步。版本 2.3.0 → 2.4.0。
|
2026-10-24 16:13:30 +08:00 |
|