diff --git a/AGENTS.md b/AGENTS.md index ff7ebba..cd28489 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -83,8 +83,9 @@ flowchart TD ### 环境变量(接线全靠根 `.env` + compose) `AGENT_CONFIG`、`PORT`、`EXECUTOR_URL`、`EXECUTOR_TOKEN`、`WXBOT_URL`、`WXBOT_TOKEN`、 -`ASR_URL`、`ASR_API_KEY`、`VIRTUAL_HOST`、`PREVIEW_PROXIES`、`EXECUTOR_LOG_LEVEL`、`WXBOT_LOG_LEVEL`。 -密钥生成:`./scripts/init.sh`(幂等,重跑不掉登录态)。 +`ASR_URL`、`VIRTUAL_HOST`、`PREVIEW_PROXIES`、`EXECUTOR_LOG_LEVEL`、`WXBOT_LOG_LEVEL`、`ASR_LOG_LEVEL`。 +密钥生成:`./scripts/init.sh`(幂等,重跑不掉登录态)。语音识别的上游 key/base/model 不在 env, +写在 `config.yml` 的 `mcp_servers[name=asr].headers`(容器不存平台密钥)。 ## 三条主链路 diff --git a/README.md b/README.md index b0cbc0c..5ec903d 100644 --- a/README.md +++ b/README.md @@ -60,9 +60,9 @@ PUBLIC_IP=1.2.3.4 \ 脚本会生成: - `.env`:`EXECUTOR_TOKEN`、`WXBOT_TOKEN`、`AGENT_PORT` 等部署变量。 -- `config.yml`:模型平台、登录账号、MCP 服务、公网前缀。 +- `config.yml`:模型平台、登录账号、`web_search`、公网前缀。 -`image_task` / `video_task` 两个 MCP 服务复用 `BIGMODEL_KEY`(智谱与 BigModel 是同一个 key);未配置 `BIGMODEL_KEY` 时它们以 `mode: disable` 写入配置。 +脚本只自动启用**模型平台**与 `web_search`。`image_task` / `video_task` / `asr` 需要各自的上游 key,脚本不替它猜平台、也不复用模型平台的 key——它们以**注释模板**写进 `mcp_servers`(url 与 header 名已填好),填上 key 后取消注释并重启 core 即生效。 `AUTH_USER` / `AUTH_PASSWORD` 不传时默认是 `admin` / `admin`,首次部署务必改掉。 @@ -95,24 +95,39 @@ http://<服务器 IP>: ### 4. 同栈 MCP 服务 -`init.sh` 默认把仓库内 `mcp/` 的服务写进 `config.yml`: +`init.sh` 只自动启用 `web_search`;其余三个需要上游 key 的服务以**注释模板**写入(url 与 header 名已填好),填 key 后取消注释再重启 core 即生效: ```yaml mcp_servers: - name: web_search url: "http://mcp_web_search:3000/" - - name: image_task - url: "http://mcp_image_task:3000/mcp" - - name: video_task - url: "http://mcp_video_task:3000/mcp" - - name: asr - url: "http://mcp_asr:3000/mcp" - mode: skill + + # - name: image_task + # url: "http://mcp_image_task:3000/mcp" + # headers: + # Authorization: Bearer + # X-Image-Task-Base-Url: "zhipu" # 或任意 OpenAI 兼容网关地址 + # X-Image-Task-Model: "CogView-4" + # mode: skill + # - name: video_task + # url: "http://mcp_video_task:3000/mcp" + # headers: + # Authorization: Bearer + # mode: skill + # - name: asr + # url: "http://mcp_asr:3000/mcp" + # headers: + # Authorization: Bearer # 免鉴权的自建服务可省 + # X-ASR-Base-Url: "https:///v1" + # X-ASR-Model: "whisper-1" + # mode: skill ``` -`web_search` / `image_task` / `video_task` / `asr` 与 core 由同一个根 `docker-compose.yml` 启动,没有先后顺序,也不占宿主机端口。工具说明、header 覆盖项与调试方式见 [mcp/README.md](mcp/README.md)。 +`web_search` / `image_task` / `video_task` / `asr` 四个容器与 core 由同一个根 `docker-compose.yml` 启动(与是否写进配置无关),没有先后顺序,也不占宿主机端口。工具说明、header 覆盖项与调试方式见 [mcp/README.md](mcp/README.md)。 -语音输入(H5 输入框里说话)走的是另一条路:客户端录音 → `POST /api/asr/transcribe` → `mcp_asr` 的 `/transcribe`,**不经过模型、不消耗 token**,结果插入输入框可编辑。客户端录音契约(Android 套壳原生桥 / 浏览器 MediaRecorder)见 [docs/voice-input.md](docs/voice-input.md);`ASR_URL` 置空即整体关闭。 +语音输入(H5 输入框里说话)走的是另一条路:客户端录音 → `POST /api/asr/transcribe` → `mcp_asr` 的 `/transcribe`,**不经过模型、不消耗 token**,结果插入输入框可编辑。客户端录音契约(Android 套壳原生桥 / 浏览器 MediaRecorder)见 [docs/voice-input.md](docs/voice-input.md);`ASR_URL` 置空、或删掉 `asr` 那段,即整体关闭。 + +`mcp_asr` 自己**不存任何平台密钥**:上游 key / base_url / model 都由 core 从这里那段 `asr.headers` 随请求带进去,换平台只改 YAML(不用重建镜像、不用动 `.env`),也不预设任何厂商。 接入栈外的 MCP 服务:在设置页添加 `url` / `headers`,或在 `config.yml` 的 `mcp_servers` 追加一项。服务不可达时 core 只在启动日志里告警,不影响 Web 主流程,但对应工具不会下发给模型。 @@ -245,7 +260,7 @@ platforms: | `EXECUTOR_URL` | `agent-executor` 地址;空则命令在 core 进程内本地执行,仅适合开发 | | `EXECUTOR_TOKEN` | core ↔ executor 的 Bearer token,两侧同值 | | `ASR_URL` | `mcp_asr` 地址(compose 为 `http://mcp_asr:3000`);置空则语音输入关闭 | -| `ASR_API_KEY` / `ASR_API_BASE` / `ASR_MODEL` | `mcp_asr` 的上游语音识别密钥与地址(默认智谱 `glm-asr`) | +| `ASR_LOG_LEVEL` | `mcp_asr` 日志等级 | | `WXBOT_URL` | wxbot 地址;置空则微信功能整体关闭 | | `WXBOT_TOKEN` | core ↔ wxbot 的共享 token | | `VIRTUAL_HOST` | 设置后 `public_link.base_url` 强制取 `https://<第一个域名>` | @@ -415,8 +430,8 @@ curl -s http://127.0.0.1:8090/api/health |---|---| | 启动时报 `network agent-mcp-net has active endpoints` | 旧的双仓库部署残留:先停旧的 mcp 仓库(`docker compose down`),再 `up` 本栈 | | 套壳 App 填了服务器地址仍连不上 | 先 `curl <地址>/api/health` 看是否返回 `service:agent-core`;再查 Android 9+ 默认禁止明文 HTTP(需 `usesCleartextTraffic`)与 https 自签证书 | -| 麦克风按钮不显示 | `ASR_URL` 为空(未部署 `mcp_asr`);或浏览器以 `http://` 访问且没有原生录音桥(非安全上下文开不了麦,见 `docs/voice-input.md`) | -| 点麦克风提示「语音识别服务不可用」 | `mcp_asr` 未起来或 `ASR_API_KEY` 为空:`docker compose logs --tail=50 mcp_asr` | +| 麦克风按钮不显示 | `ASR_URL` 为空(未部署 `mcp_asr`);或 `config.yml` 的 `mcp_servers` 里没有启用的 `asr` 段 / 该段缺 `X-ASR-Base-Url`(`GET /api/asr/status` 会返回 `reason`);或浏览器以 `http://` 访问且没有原生录音桥(非安全上下文开不了麦,见 `docs/voice-input.md`) | +| 点麦克风提示「语音识别服务不可用」 | `mcp_asr` 未起来(`docker compose logs --tail=50 mcp_asr`);或 `config.yml` 的 `asr.headers` 缺 `X-ASR-Base-Url` / `X-ASR-Model` | | `config.yml` 变成目录 | 启动前文件不存在,Docker 自动建了同名目录;停容器、删目录、放入配置文件 | | 没有可用模型 | `platforms` 为空或模型全部禁用;在设置页添加后重启 | | 创建会话报「无可用模型」 | 模型池为空,或指定模型所在平台没有 key | diff --git a/app/AGENTS.md b/app/AGENTS.md index 7c2aec0..2e6830c 100644 --- a/app/AGENTS.md +++ b/app/AGENTS.md @@ -266,7 +266,7 @@ preview-proxy.earlyGuard express.static(public) /api/sessions ×4 ← sessions / messages / files / skill-run(通用执行面) /api/skills -/api/asr ← 语音识别代理:/transcribe 走登录态;ASR_URL 空则 503 +/api/asr ← 语音识别代理:/transcribe 走登录态;ASR_URL 空或配置里无可用 asr 段则 503 /api/config ← requireAdmin /api/platforms /api/system ← /restart 需 admin,其余登录即可 diff --git a/app/config.example.yml b/app/config.example.yml index 7bf6155..e30c311 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -84,10 +84,17 @@ auth: # users 留空 = 不启用登 # disable=不连接、不发现。旧字段 enable 已废弃;mode: silent 已移除(改用 skill),写进配置会启动报错。 # # 语音识别(mcp/asr)建议用 skill:转写音频是低频能力,不必把 schema 塞进每轮请求。 +# 上游参数(key / base_url / model)由 core 随请求带给 mcp_asr,容器自己不存密钥, +# 也不预设任何平台——任何 OpenAI 兼容的 /audio/transcriptions 都行。免鉴权的自建服务可省 Authorization。 # - name: asr # url: "http://mcp_asr:3000/mcp" +# headers: +# Authorization: Bearer +# X-ASR-Base-Url: "https:///v1" +# X-ASR-Model: "whisper-1" # mode: skill -# 注意:输入框里的语音输入走的是 core 的 /api/asr(由 compose 的 ASR_URL 接线),不经这个工具,也不消耗 token。 +# 注意:输入框里的语音输入走的是 core 的 /api/asr(由 compose 的 ASR_URL 接线),也读这一段的 headers; +# 不经工具、不消耗 token。mode: disable 或删掉这段 = 麦克风入口关闭。 mcp_servers: [] public_link: diff --git a/app/server/public/js/voice.js b/app/server/public/js/voice.js index 198ac5d..b2930b1 100644 --- a/app/server/public/js/voice.js +++ b/app/server/public/js/voice.js @@ -544,10 +544,11 @@ console.info('[voice] 语音入口未启用:没有 window.AgentNative,且当前不是安全上下文(需 HTTPS,或由套壳 App 注入原生桥)'); return; } - // 服务端没接线(core 的 ASR_URL 为空)就不给入口;探测失败则照常启用 + // 服务端没接线(core 的 ASR_URL 为空,或 config.yml 里没有可用的 asr 段)就不给入口; + // 探测失败则照常启用(不因一次探测失败就永久藏掉入口)。 req('GET', '/api/asr/status').then(function (s) { if (s && s.enabled === false) { - console.info('[voice] 语音入口未启用:服务端未配置语音识别(agent-core 的 ASR_URL 为空)'); + console.info('[voice] 语音入口未启用:' + ((s && s.reason) || '服务端未配置语音识别')); return; } available = true; diff --git a/app/server/routes/asr.js b/app/server/routes/asr.js index a3613ec..3e4b6c5 100644 --- a/app/server/routes/asr.js +++ b/app/server/routes/asr.js @@ -4,8 +4,20 @@ // 一个宿主端口都不占(它自身没有鉴权,暴露即被白嫖)。对外唯一的入口仍是 core, // 鉴权沿用全局登录态(auth.middleware 已挂在 /api 之前)。 // -// 开关:core 的 ASR_URL 为空 = 未部署语音识别,本路由一律 503,前端据此不显示麦克风。 +// 上游参数全部来自 config.yml 的 mcp_servers 里那条 asr(与 image_task 完全同构): +// - name: asr +// url: "http://mcp_asr:3000/mcp" +// headers: +// Authorization: Bearer # 免鉴权的自建服务可省 +// X-ASR-Base-Url: "https://.../v1" +// X-ASR-Model: "whisper-1" +// mcp_asr 自己不存任何平台密钥(容器 env 一条都不读),所以要换 ASR 平台只改这个文件对应的 +// YAML 段 + 重启 core,不碰 .env、不重建镜像。头名与 mcp/asr/src/server.js 的常量一一对应。 +// +// 开关:ASR_URL 为空(未部署 mcp_asr)或配置里没有可用的 asr 段 = 关闭,本路由一律 503, +// 前端据此不显示麦克风。ASR_URL 留在 env 是部署接线(容器地址),不属于平台密钥。 const express = require('express'); +const engine = require('../engine'); const log = require('../log'); const router = express.Router(); @@ -15,6 +27,39 @@ const ASR_URL = String(process.env.ASR_URL || '').trim().replace(/\/+$/, ''); const MAX_BYTES = 20 * 1024 * 1024; const TIMEOUT_MS = 120000; +// 只转发 ASR 约定的三个头:config.yml 里该条目的其它 header 与本服务无关,没必要透传进内网。 +const PASS_HEADERS = ['authorization', 'x-asr-base-url', 'x-asr-model']; + +// 取当前生效的 asr 配置段。配置冷加载(engine 里那份是启动时解析的),所以这里读到的就是 +// 运行中的值;重启前改 config.yml 不会影响已生效的这份,与其它配置项一致。 +function asrEntry() { + let cfg = null; + try { cfg = engine.getConfig(); } catch (_) { cfg = null; } // 启动早期 engine 还没拿到 cfg + const list = (cfg && cfg.mcp_servers) || []; + const s = list.find(function (x) { return x && x.name === 'asr'; }); + // mode: disable = 明确关闭(与模型侧工具同一开关:关了就别给麦克风) + if (!s || s.mode === 'disable') return null; + return s; +} + +function asrHeaders() { + const s = asrEntry(); + if (!s) return null; + const out = {}; + for (const [k, v] of Object.entries(s.headers || {})) { + if (PASS_HEADERS.indexOf(String(k).toLowerCase()) >= 0) out[k] = String(v); + } + return out; +} + +// 有没有真的能转写:缺 base_url 就转不了(model 也缺的话 mcp_asr 会给出更具体的报错)。 +// 只判 base_url 是为了让「配了但漏填 model」在探测阶段仍显示入口,用户点了能拿到明确提示。 +function hasUpstream(headers) { + return Object.keys(headers || {}).some(function (k) { + return k.toLowerCase() === 'x-asr-base-url' && String(headers[k] || '').trim(); + }); +} + // 只接音频二进制。全局 express.json(2mb) 只解析 application/json,两者不冲突。 // 注意 WebView 可能发 audio/mp4、audio/webm;codecs=opus,统一按 audio/* 接。 const rawAudio = express.raw({ @@ -24,12 +69,22 @@ const rawAudio = express.raw({ // 前端可用性探测(按钮是否显示)。不碰网络,纯看接线。 router.get('/status', function (req, res) { - res.json({ enabled: !!ASR_URL, max_bytes: MAX_BYTES }); + if (!ASR_URL) return res.json({ enabled: false, reason: 'core 未设置 ASR_URL' }); + if (!asrEntry()) return res.json({ enabled: false, reason: 'config.yml 的 mcp_servers 里没有启用的 asr' }); + const headers = asrHeaders(); + if (!hasUpstream(headers)) { + return res.json({ enabled: false, reason: 'config.yml 的 asr.headers 缺 X-ASR-Base-Url' }); + } + res.json({ enabled: true, max_bytes: MAX_BYTES }); }); router.post('/transcribe', rawAudio, async function (req, res) { if (!ASR_URL) { - return res.status(503).json({ error: '语音识别未配置(core 未设置 ASR_URL)' }); + return res.status(503).json({ error: '语音识别未部署(core 未设置 ASR_URL)' }); + } + const headers = asrHeaders(); + if (!headers || !hasUpstream(headers)) { + return res.status(503).json({ error: '语音识别未配置上游(config.yml 的 asr.headers 需设 X-ASR-Base-Url / X-ASR-Model)' }); } const buf = req.body; if (!Buffer.isBuffer(buf) || !buf.length) { @@ -38,7 +93,7 @@ router.post('/transcribe', rawAudio, async function (req, res) { try { const r = await fetch(ASR_URL + '/transcribe', { method: 'POST', - headers: { 'Content-Type': req.headers['content-type'] || 'application/octet-stream' }, + headers: Object.assign({ 'Content-Type': req.headers['content-type'] || 'application/octet-stream' }, headers), body: buf, signal: AbortSignal.timeout(TIMEOUT_MS), }); @@ -52,7 +107,7 @@ router.post('/transcribe', rawAudio, async function (req, res) { const code = r.status >= 400 && r.status < 500 ? r.status : 502; return res.status(code).json({ error: msg }); } - // 原样透传 ASR 的 {text, ms, backend} + // 原样透传 ASR 的 {text, ms, model} res.type('application/json').send(text); } catch (e) { log.warn('asr', '调用 ASR 服务失败:' + String(e && e.message || e)); diff --git a/app/server/server.js b/app/server/server.js index c24d903..626db15 100644 --- a/app/server/server.js +++ b/app/server/server.js @@ -72,7 +72,7 @@ app.use('/api/sessions', require('./routes/files')); app.use('/api/sessions', require('./routes/skill-run')); app.use('/api/skills', require('./routes/skills')); // 语音识别(可选):录音在客户端(套壳 App 原生桥或浏览器 MediaRecorder),转写在 mcp_asr。 -// ASR_URL 为空时接口回 503,前端据此不显示麦克风按钮(见 routes/asr.js)。 +// ASR_URL 为空、或 config.yml 里没有启用的 asr 段时接口回 503,前端据此不显示麦克风按钮(见 routes/asr.js)。 app.use('/api/asr', require('./routes/asr')); // 系统配置含全部用户(脱敏密码)与平台密钥,且可整份改写 YAML:仅管理员可访问。 app.use('/api/config', auth.requireAdmin, require('./routes/config')); diff --git a/docker-compose.yml b/docker-compose.yml index 7c65203..9c37eb9 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -212,7 +212,9 @@ services: # 同进程两个入口(见 mcp/asr/src/server.js 头注释): # POST /transcribe ← agent-core 的 /api/asr 转发(输入框,低延迟、不经过模型) # POST /mcp ← 模型的 MCP 工具 transcribe_audio({url})(转写任务目录里的音频) - # 转写走上游 OpenAI 兼容的 /audio/transcriptions(默认智谱 glm-asr,换平台改 ASR_API_* 即可)。 + # 本容器不存任何平台密钥:上游走 OpenAI 兼容的 /audio/transcriptions,key / base_url / model + # 全部由调用方随请求 header 带入(core 从 config.yml 的 mcp_servers 里 asr.headers 取)。 + # 换 ASR 平台 → 改 config.yml 后重启 core,本服务不用动、也不用重建镜像。 mcp_asr: build: ./mcp/asr container_name: mcp_asr @@ -224,9 +226,6 @@ services: retries: 5 start_period: 5s environment: - - ASR_API_KEY=${ASR_API_KEY:-} - - ASR_API_BASE=${ASR_API_BASE:-https://open.bigmodel.cn/api/paas/v4} - - ASR_MODEL=${ASR_MODEL:-glm-asr} - ASR_LOG_LEVEL=${ASR_LOG_LEVEL:-info} - TZ=Asia/Shanghai networks: diff --git a/docs/voice-input.md b/docs/voice-input.md index bca9282..54bc8c1 100644 --- a/docs/voice-input.md +++ b/docs/voice-input.md @@ -380,11 +380,15 @@ Cookie: <登录态> # 与页面同一份 HttpOnly cookie ``` ```json -{ "text": "打开今天的日报", "ms": 842, "model": "glm-asr" } +{ "text": "打开今天的日报", "ms": 842, "model": "whisper-1" } ``` - 上限 20MB,超时 120s;识别失败返回 `{"error": "..."}`(前端直接 toast 出来)。 -- `GET /api/asr/status` → `{"enabled": true}`:`ASR_URL` 没接线时为 `false`。 +- `GET /api/asr/status` → `{"enabled": true}`;未接线时 `{"enabled": false, "reason": "..."}`, + 三种情况:core 的 `ASR_URL` 为空、`config.yml` 里没有启用的 `asr` 段、该段缺 `X-ASR-Base-Url`。 +- 上游(key / base_url / model)不在 `mcp_asr` 容器里:core 从 `config.yml` 的 + `mcp_servers[name=asr].headers` 取出并随请求带给它(`Authorization` / `X-ASR-Base-Url` / `X-ASR-Model`), + 所以换 ASR 平台只改 YAML + 重启 core。 ## 六、为什么不用浏览器的 Web Speech API diff --git a/mcp/README.md b/mcp/README.md index fdab1cc..55311e6 100644 --- a/mcp/README.md +++ b/mcp/README.md @@ -35,6 +35,10 @@ mcp_servers: # 可选:语音转写(低频,建议 skill 模式,不占每轮工具表) - name: asr url: "http://mcp_asr:3000/mcp" + headers: + Authorization: Bearer # 免鉴权的自建服务可省 + X-ASR-Base-Url: "https:///v1" + X-ASR-Model: "whisper-1" mode: skill ``` @@ -47,8 +51,11 @@ mcp_servers: `image_task` 用对应上游(智谱或 OpenAI 兼容网关)的 token,上游地址与模型分别由 `X-Image-Task-Base-Url` / `X-Image-Task-Model` 指定。所以这两个服务不用配任何密钥。 -`asr` 是例外:输入框那条路(`agent-core` → `POST /transcribe`)不经过 MCP 调用,拿不到 header, -所以它自己的上游密钥由容器 env `ASR_API_KEY` 提供(写在根 `.env`,已 gitignore,不挂给其他容器)。 +`asr` 同理:上游的 key / base_url / model 全部由调用方随请求 header 带入 +(`Authorization` / `X-ASR-Base-Url` / `X-ASR-Model`,agent 侧配在 `config.yml` 的 +`mcp_servers[name=asr].headers`)。输入框那条路(`agent-core` → `POST /transcribe`)不经过 MCP 调用, +但 core 同样会从那段 `headers` 取值转发过去,所以两边只有一处配置。容器自己不存任何平台密钥, +也不预设任何厂商——任何 OpenAI 兼容的 `/audio/transcriptions` 都能用。 ### 调试端口 @@ -86,7 +93,7 @@ AI 把拿到的 URL 当 image_url 交给 video_task:3000/mcp | `mcp_web_search` | 无 | 服务端无鉴权,**永远不要映射出去**(会被白嫖搜索额度);agent 走内网访问 | | `mcp_image_task` | 无 | token 由调用方自带,暴露后可被拿去消耗你的上游图片额度 | | `mcp_video_task` | 无 | 它需要的公开临时 URL 由 agent 侧集成的工具提供,自己不占端口 | -| `mcp_asr` | 无 | `/mcp` 与 `/transcribe` 都无鉴权,只能由 core 经内网调用;它持有上游 ASR 密钥 | +| `mcp_asr` | 无 | `/mcp` 与 `/transcribe` 都无鉴权,只能由 core 经内网调用;它不存密钥(上游参数随请求带入) | ## 单独调试 diff --git a/mcp/asr/README.md b/mcp/asr/README.md index 2bb724a..637d90d 100644 --- a/mcp/asr/README.md +++ b/mcp/asr/README.md @@ -6,7 +6,7 @@ |---|---|---| | `POST /transcribe` | `agent-core` 的 `/api/asr/transcribe`(H5 输入框) | 普通 HTTP,音频二进制进、`{text}` 出。**不经过模型、不消耗 token、1~3s** | | `POST /mcp` | 模型(MCP 工具 `transcribe_audio`) | 转写任务目录里已有的音频,参数是公网 URL(与 `video_task` 的 `image_url` 同构) | -| `GET /health` | compose healthcheck | `{ok, model, configured}` | +| `GET /health` | compose healthcheck | `{ok, service}`(无状态服务,不反映上游配置) | 端口 `3000` **只在 `agent-mcp-net` 内网**,不映射宿主机——本服务自身没有鉴权,暴露即被白嫖。 对外唯一入口仍是 `agent-core`(`/api/asr` 走登录态鉴权)。 @@ -19,26 +19,43 @@ ## 部署 ```bash -# 1) 配上游密钥(写进仓库根 .env,已 gitignore) -# ASR_API_KEY=你的智谱 token +# 1) 配上游:写进仓库根 config.yml 的 mcp_servers(与 image_task 同构),容器不存任何密钥 +# - name: asr +# url: "http://mcp_asr:3000/mcp" +# headers: +# Authorization: Bearer # 免鉴权的自建服务可省 +# X-ASR-Base-Url: "https:///v1" +# X-ASR-Model: "whisper-1" +# mode: skill # 2) 起服务 + docker compose up -d --build mcp_asr -docker compose restart agent-core # core 要在启动时读到 ASR_URL +docker compose restart agent-core # core 要在启动时读到 config.yml 与 ASR_URL curl -s http://127.0.0.1:8090/api/asr/status # {"enabled":true,...} ``` -`agent-core` 的环境变量 `ASR_URL`(compose 里固定为 `http://mcp_asr:3000`)是开关:置空即 -不启用,`/api/asr/*` 回 503,前端不显示麦克风按钮。 +`agent-core` 的环境变量 `ASR_URL`(compose 里固定为 `http://mcp_asr:3000`)是部署接线; +真正的开关是 config.yml 里那段 `asr`:置为 `mode: disable` 或删掉 = 不启用,`/api/asr/*` 回 503, +前端不显示麦克风按钮。 + +> 从旧版升级:以前上游 key 写在根 `.env` 的 `ASR_API_KEY`(并默认复用 `BIGMODEL_KEY`), +> 现在容器不再读它。把原来那三个值搬到 `config.yml` 的 `asr.headers` 即可,`.env` 里那行可以删掉; +> 不搬的话语音入口会自动关闭(`GET /api/asr/status` 会返回具体 `reason`)。 ## 上游 -任何 OpenAI 兼容的 `/audio/transcriptions` 都能用;默认智谱: +任何 OpenAI 兼容的 `/audio/transcriptions` 都能用。**本服务不保存、也不预设任何平台**: +key / base_url / model 全部由调用方随每个请求用 header 带入(与 `image_task` 同构)。 -| 变量 | 默认 | -|---|---| -| `ASR_API_BASE` | `https://open.bigmodel.cn/api/paas/v4` | -| `ASR_API_KEY` | 空(空则 `/transcribe` 回 503) | -| `ASR_MODEL` | `glm-asr` | +| Header | 必填 | 说明 | +|---|---|---| +| `X-ASR-Base-Url` | 是 | 上游地址,如 `https:///v1`(服务自己拼 `/audio/transcriptions`) | +| `X-ASR-Model` | 是 | 模型名,如 `glm-asr` / `whisper-1` | +| `Authorization` | 否 | `Bearer `;写成裸 key 也会自动补 `Bearer `;免鉴权的自建服务可省 | + +`agent-core` 从 `config.yml` 的 `mcp_servers[name=asr].headers` 取这三个头,两条入口(`/transcribe` +与 `/mcp`)共用同一处配置——所以换平台只改 YAML + 重启 core,不碰 `.env`、不重建镜像。 +缺 `X-ASR-Base-Url` / `X-ASR-Model` 时回 503,并在错误文案里指出缺哪个。 常驻内存约 35~40MB,CPU 基本为 0。没有本地模型可选:2 vCPU / 2GB 的机器跑不动能用的 whisper(固定 30 秒窗口,`small` 单次要 15~30 秒),需要私有化就把这个容器放到另一台机器, @@ -50,8 +67,11 @@ whisper(固定 30 秒窗口,`small` 单次要 15~30 秒),需要私有化 # 任意格式(webm / mp4 / mp3 / wav / ogg / aac / flac),服务端用 ffmpeg 归一化 curl -s -X POST http://mcp_asr:3000/transcribe \ -H 'Content-Type: audio/webm' \ + -H 'X-ASR-Base-Url: https:///v1' \ + -H 'X-ASR-Model: whisper-1' \ + -H 'Authorization: Bearer ' \ --data-binary @voice.webm -# → {"text":"打开今天的日报","ms":842,"model":"glm-asr"} +# → {"text":"打开今天的日报","ms":842,"model":"whisper-1"} ``` - 上限 20MB;超过 `ASR_MAX_CHUNK_SEC`(默认 25s)的音频自动切片后逐段识别再拼接 @@ -65,6 +85,10 @@ curl -s -X POST http://mcp_asr:3000/transcribe \ mcp_servers: - name: asr url: "http://mcp_asr:3000/mcp" + headers: # 上游参数随请求带入,同「上游」一节 + X-ASR-Base-Url: "https:///v1" + X-ASR-Model: "whisper-1" + Authorization: Bearer mode: skill # 低频能力,别每轮都发 schema ``` @@ -75,11 +99,13 @@ mcp_servers: | 变量 | 默认 | 说明 | |---|---|---| -| `ASR_API_BASE` / `ASR_API_KEY` / `ASR_MODEL` | 见上 | 上游语音识别 | | `ASR_MAX_BYTES` | 20971520 | 单次上传上限 | | `ASR_MAX_CHUNK_SEC` | `25` | 超长音频切片长度,`0` = 不切 | | `ASR_MAX_CONCURRENT` | `2` | 并发转写数 | | `ASR_LOG_LEVEL` | `info` | debug / info / warn / error / none | +| `FFMPEG_BIN` | `ffmpeg` | 归一化工具路径 | + +上游参数(key / base_url / model)**不是环境变量**,见上面「上游」一节。 ## 客户端怎么录音 diff --git a/mcp/asr/src/server.js b/mcp/asr/src/server.js index e2186da..2c2d062 100644 --- a/mcp/asr/src/server.js +++ b/mcp/asr/src/server.js @@ -14,7 +14,8 @@ // tools/call 三种请求,手写这几十行 JSON-RPC 就够;本机内存只有 2G,省掉 SDK 与 express // 的常驻开销(本服务空载约 35MB)。 // -// 转写走上游的 OpenAI 兼容 /audio/transcriptions(默认智谱 glm-asr,换平台改 env 即可)。 +// 转写走上游的 OpenAI 兼容 /audio/transcriptions(任何平台都行)。上游三要素——key、base_url、 +// model——一律由调用方随请求 header 带入,本容器不存任何平台密钥、也不认任何平台默认值。 // 音频一律先经 ffmpeg 归一化成 16kHz 单声道 wav:WebView 录出来是 webm/opus,iOS 是 mp4/aac, // 上游只认 wav/mp3,归一化后两端都自由。 @@ -25,13 +26,18 @@ import fs from 'node:fs/promises'; import os from 'node:os'; import path from 'node:path'; -// ── 配置(全部走 env,不读 config.yml:本容器按仓库惯例只拿 env) ────────────── +// ── 配置 ────────────────────────────────────────────────────────────────── const PORT = Number(process.env.PORT || 3000); -// 上游:任何 OpenAI 兼容的 /audio/transcriptions(智谱 glm-asr、OpenAI whisper-1 等) -const API_BASE = String(process.env.ASR_API_BASE || 'https://open.bigmodel.cn/api/paas/v4').trim().replace(/\/+$/, ''); -const API_KEY = String(process.env.ASR_API_KEY || '').trim(); -const API_MODEL = String(process.env.ASR_MODEL || 'glm-asr').trim(); +// 上游参数逐请求带入(与 mcp/image_task 同构:密钥由调用方提供,服务端不保存): +// Authorization: Bearer ← 免鉴权的自建服务可省 +// X-ASR-Base-Url: https://.../v1 +// X-ASR-Model: whisper-1 +// 为什么不留 env 兜底:两条来源会让「到底生效的是哪个 key」变成靠猜,而且密钥越少地方存越好 +//(容器 env 用 docker inspect 就能看,config.yml 至少还受登录态保护)。 +const HDR_AUTH = 'authorization'; +const HDR_BASE = 'x-asr-base-url'; +const HDR_MODEL = 'x-asr-model'; // 单次上传上限。60s 的 AAC 约 240KB、16k wav 约 1.9MB,20MB 是给长音频留的余量。 const MAX_BYTES = Math.max(1024 * 1024, Number(process.env.ASR_MAX_BYTES || 20 * 1024 * 1024)); // 云端多数 ASR 单次只吃 ~30s:超长音频按这个秒数切片后逐段识别再拼接(0 = 不切)。 @@ -49,6 +55,27 @@ function log(level, msg) { console.log('[asr ' + level + '] ' + msg); } +// 从请求 header 取上游三要素。Authorization 允许写成裸 key(自动补 Bearer), +// 省得用户还要记各平台前缀有没有写全。 +function upstreamOf(req) { + const h = (req && req.headers) || {}; + const raw = String(h[HDR_AUTH] || '').trim(); + return { + auth: raw ? (/^bearer\s/i.test(raw) ? raw : 'Bearer ' + raw) : '', + base: String(h[HDR_BASE] || '').trim().replace(/\/+$/, ''), + model: String(h[HDR_MODEL] || '').trim(), + }; +} + +// 缺参数直接 503:这是部署问题(config.yml 没配),不是用户输入问题——回 4xx 会让人以为音频坏了。 +function assertUpstream(up) { + const miss = !up.base ? 'X-ASR-Base-Url' : !up.model ? 'X-ASR-Model' : ''; + if (!miss) return; + const e = new Error('语音识别未配置上游:config.yml 的 mcp_servers 里 asr 需要 headers.' + miss); + e.status = 503; + throw e; +} + // ── 子进程:统一超时 + 收 stdout/stderr ──────────────────────────────────── function run(cmd, args, timeoutMs) { return new Promise((resolve, reject) => { @@ -140,21 +167,17 @@ function extractText(obj) { return ''; } -async function runCloud(wavPath) { - if (!API_KEY) { - const e = new Error('语音识别未配置:容器环境变量 ASR_API_KEY 为空'); - e.status = 503; - throw e; - } +async function runCloud(wavPath, up) { + assertUpstream(up); const buf = await fs.readFile(wavPath); const form = new FormData(); - form.append('model', API_MODEL); + form.append('model', up.model); form.append('file', new Blob([buf], { type: 'audio/wav' }), 'audio.wav'); let res; try { - res = await fetch(API_BASE + '/audio/transcriptions', { + res = await fetch(up.base + '/audio/transcriptions', { method: 'POST', - headers: { Authorization: 'Bearer ' + API_KEY }, + headers: up.auth ? { Authorization: up.auth } : {}, body: form, signal: AbortSignal.timeout(60000), }); @@ -208,6 +231,8 @@ async function wavLevel(wavPath) { // 转写一段音频缓冲:归一化 →(超长则切片)→ 逐段识别 → 拼接。 async function transcribeBuffer(buf, opts) { + const up = (opts && opts.up) || {}; + assertUpstream(up); const wavPath = await toWav(buf, opts && opts.ext); const parts = []; try { @@ -222,7 +247,7 @@ async function transcribeBuffer(buf, opts) { } if (!parts.length) { try { - return (await runCloud(wavPath)).trim(); + return (await runCloud(wavPath, up)).trim(); } catch (e) { // 只在上游判定“没有语音”时量一遍音量(正常路径零开销): // 静音是 -91dB,正常语音 -20dB 上下,一眼就能分清是设备没收到声还是文件坏了。 @@ -237,7 +262,7 @@ async function transcribeBuffer(buf, opts) { for (const p of parts) { // 每段独立识别;单段失败不连累其他段(长录音里偶发静音段常见) try { - out.push((await runCloud(p)).trim()); + out.push((await runCloud(p, up)).trim()); } catch (e) { log('warn', '切片识别失败(跳过):' + String(e && e.message || e).slice(0, 200)); } @@ -301,15 +326,18 @@ async function handleTranscribe(req, res, url) { if (active >= MAX_CONCURRENT) { return json(res, 429, { error: '语音识别繁忙,请稍后再试' }); } + // 先判配置再读 body:没配上游时不必白读 20MB + const up = upstreamOf(req); + assertUpstream(up); const buf = await readBody(req, MAX_BYTES); if (!buf.length) return json(res, 400, { error: '未收到音频数据' }); active++; const t0 = Date.now(); try { - const text = await transcribeBuffer(buf, { ext: extOf(req.headers['content-type']) }); + const text = await transcribeBuffer(buf, { ext: extOf(req.headers['content-type']), up }); log('info', 'transcribed ' + buf.length + 'B → ' + text.length + ' 字,' + (Date.now() - t0) + 'ms'); - json(res, 200, { text, ms: Date.now() - t0, model: API_MODEL }); + json(res, 200, { text, ms: Date.now() - t0, model: up.model }); } finally { active--; } @@ -375,7 +403,7 @@ async function handleMcp(req, res) { if (!urlStr) return ok({ isError: true, content: [{ type: 'text', text: '缺少 url 参数' }] }); try { const { buf, ext } = await fetchAudio(urlStr); - const text = await transcribeBuffer(buf, { ext }); + const text = await transcribeBuffer(buf, { ext, up: upstreamOf(req) }); return ok({ content: [{ type: 'text', text }] }); } catch (e) { return ok({ isError: true, content: [{ type: 'text', text: '转写失败:' + String(e && e.message || e) }] }); @@ -402,11 +430,8 @@ const server = http.createServer((req, res) => { }; if (req.method === 'GET' && url.pathname === '/health') { - return json(res, 200, { - ok: true, - model: API_MODEL, - configured: !!API_KEY, - }); + // 无状态服务:健康 = 进程活着。上游参数逐请求带入,没有全局「configured」可言。 + return json(res, 200, { ok: true, service: 'asr' }); } if (req.method === 'POST' && url.pathname === '/transcribe') return done(handleTranscribe(req, res, url)); if (url.pathname === '/mcp') { @@ -428,6 +453,5 @@ process.on('SIGTERM', () => shutdown('SIGTERM')); process.on('SIGINT', () => shutdown('SIGINT')); server.listen(PORT, '0.0.0.0', () => { - log('info', 'listening on ' + PORT + ',model=' + API_MODEL + ' @ ' + API_BASE); - if (!API_KEY) log('warn', 'ASR_API_KEY 为空:/transcribe 会返回 503'); + log('info', 'listening on ' + PORT + '(上游 key/base_url/model 由调用方随请求 header 带入)'); }); diff --git a/scripts/init.sh b/scripts/init.sh index 620a33b..327b54b 100755 --- a/scripts/init.sh +++ b/scripts/init.sh @@ -10,14 +10,14 @@ # # 输入(都可选): # BIGMODEL_KEY / DEEPSEEK_KEY / QWEN_KEY 模型平台 key,填几个启用几个(0~3 个) -# image_task / video_task / asr 复用 BIGMODEL_KEY(智谱即 BigModel); -# 未配 BIGMODEL_KEY 时这三个服务写为 mode: disable # AUTH_USER / AUTH_PASSWORD 登录账号(默认 admin / admin,请自行改掉) # PUBLIC_IP / AGENT_PORT 对外地址与端口,写进 public_link.base_url; # PUBLIC_IP 不配置则自动探测公网 IP # AUTH_SECRET / EXECUTOR_TOKEN / WXBOT_TOKEN 一般不用给:不给就自动生成并复用(见下) -# ASR_API_KEY 语音识别(mcp_asr)的上游 key;不给则复用 BIGMODEL_KEY, -# 已有 .env 里的值优先(语音输入只是可选能力,留空不影响主流程) +# +# 本脚本只自动写「模型平台 + web_search」。image_task / video_task / asr 需要上游 key, +# 一律以**注释模板**写进 mcp_servers(含默认 url 与 header 名),取消注释并填好 key 即生效—— +# 不替用户猜平台、也不复用任何模型平台 key。 # # 微信接入(wxbot 已合入根 compose,作为栈内服务):本脚本只负责生成/复用根 .env 的 WXBOT_TOKEN; # wxbot 自身零配置文件(compose 注 env + 内置默认,同 executor 模式),无需任何同步动作。 @@ -53,8 +53,6 @@ EXECUTOR_TOKEN="${EXECUTOR_TOKEN:-}" AUTH_SECRET="${AUTH_SECRET:-}" # 微信接入服务 token(core ↔ wxbot 双向共用,compose 两侧同值注入;wxbot 已并入仓库) WXBOT_TOKEN="${WXBOT_TOKEN:-}" -# 语音识别(mcp_asr)的上游 key:独立于模型平台 key,但默认复用 BIGMODEL_KEY(智谱 glm-asr) -ASR_API_KEY="${ASR_API_KEY:-}" log() { echo -e "\n\033[1;32m===== $* =====\033[0m"; } info() { echo -e "\033[1;36m[INFO]\033[0m $*"; } @@ -78,8 +76,6 @@ if [ -f "$ENV_FILE" ]; then EXECUTOR_TOKEN="${EXECUTOR_TOKEN:-$(sed -n 's/^EXECUTOR_TOKEN=//p' "$ENV_FILE" | head -1)}" AUTH_SECRET="${AUTH_SECRET:-$(sed -n 's/^AUTH_SECRET=//p' "$ENV_FILE" | head -1)}" WXBOT_TOKEN="${WXBOT_TOKEN:-$(sed -n 's/^WXBOT_TOKEN=//p' "$ENV_FILE" | head -1)}" - # ASR_API_KEY 同理复用:手填的 key 不会被重跑抹掉 - ASR_API_KEY="${ASR_API_KEY:-$(sed -n 's/^ASR_API_KEY=//p' "$ENV_FILE" | head -1)}" # AGENT_PORT 同理复用:避免不带参数重跑时把部署机自定义端口重置回 8090(显式传参优先) AGENT_PORT="${AGENT_PORT_INPUT:-$(sed -n 's/^AGENT_PORT=//p' "$ENV_FILE" | head -1)}" AGENT_PORT="${AGENT_PORT:-8090}" @@ -87,22 +83,20 @@ fi EXECUTOR_TOKEN="${EXECUTOR_TOKEN:-$(gen_hex 32)}" AUTH_SECRET="${AUTH_SECRET:-$(gen_hex 32)}" WXBOT_TOKEN="${WXBOT_TOKEN:-$(gen_hex 32)}" -ASR_API_KEY="${ASR_API_KEY:-$BIGMODEL_KEY}" cat > "$ENV_FILE" </v1)走任意 OpenAI 兼容的 /images/generations。 + # - name: image_task + # url: "http://mcp_image_task:3000/mcp" + # headers: + # Authorization: Bearer + # X-Image-Task-Base-Url: "zhipu" + # X-Image-Task-Model: "CogView-4" + # mode: skill + # + # 视频生成(智谱 BigModel 异步接口)。模型可选,默认 cogvideox-flash; + # 要换模型再加一行 X-Video-Task-Model(取值见 mcp/video_task/README.md)。 + # - name: video_task + # url: "http://mcp_video_task:3000/mcp" + # headers: + # Authorization: Bearer + # mode: skill + # + # 语音转写(输入框「按住说话」与模型的 transcribe_audio 共用这一段)。 + # 任何 OpenAI 兼容的 /audio/transcriptions 都行,容器自己不存密钥;免鉴权的自建服务可省 Authorization。 + # - name: asr + # url: "http://mcp_asr:3000/mcp" + # headers: + # Authorization: Bearer + # X-ASR-Base-Url: "https:///v1" + # X-ASR-Model: "whisper-1" + # mode: skill EOF - else - cat <<'EOF' - - name: asr - url: "http://mcp_asr:3000/mcp" - mode: disable # 未配 ASR_API_KEY:不连接、不发现 -EOF - fi echo cat < "$CONFIG_YML" -info "平台: ${enabled_plats[*]:-无};图像/视频 MCP: $([ -n "$BIGMODEL_KEY" ] && echo 启用 || echo 未配置(mode: disable))" +info "平台: ${enabled_plats[*]:-无};MCP: web_search 已启用,image_task / video_task / asr 为注释模板(填 key 后取消注释)" # ============================================================ # 3. 汇总 @@ -272,9 +262,7 @@ echo " 访问地址 : http://${PUBLIC_IP:-<公网IP>}:${AGENT_PORT}" echo " 账号 : $AUTH_USER" echo " 密码 : $AUTH_PASSWORD" echo " 平台 : ${enabled_plats[*]:-(无)}" -echo " 图像/视频: $([ -n "$BIGMODEL_KEY" ] && echo "image_task / video_task 已启用" || echo "未配置(mode: disable)")" -echo " 语音输入 : $([ -n "$ASR_API_KEY" ] && echo "mcp_asr 已启用" || echo "未配置(ASR_API_KEY 为空)")" -echo " MCP 服务 : web_search / image_task / video_task / asr(同栈,随 compose 启动)" +echo " MCP 服务 : web_search 已启用;image_task / video_task / asr 以注释模板写入(填 key 后取消注释)" echo " 微信接入 : WXBOT_TOKEN 已就位(compose 注入 core 与 wxbot 两侧;wxbot 无需配置文件)" echo "---------------------------------------------" log "完成 ✅"