新增 model_profiles:小模型的 prompt+tools 组合白名单
- 顶层 model_profiles 定义多套组合 {tools_allow?, system_prompt_file?},platforms 里的模型用 profile: <名> 引用(同 id 跨平台复用);引用不存在/文件缺失/空壳组合直接校验报错
- tools_allow 按最终工具名(内置 + MCP,含 server__ 前缀)过滤发给模型的 tools;名单外工具被调用不拦,executor 全表照跑
- system_prompt_file 相对 server/templates/,配置加载时一次读入常驻内存;设了即完全接管(不拼技能段),语言后缀照拼
- 运行期动态切换:发消息带 profile 参数(同 deepThink 约定,每迭代取 run 最新值),纯内存选择、不碰 config.yml;'default'=显式全量,未知名 400
- 压缩回合跟随当前组合;prompt 缓存改 (profile,语言) 键;prompt.txt dump 每套组合各一段;/api/models 带 profile、/api/system/status 下发组合名供前端选择器
This commit is contained in:
+11
-7
@@ -234,7 +234,7 @@ stateDiagram-v2
|
||||
| `bindModel` / `releaseModel` | 标记 `model_pool.is_busy` + 改 `sessions.model_id`/`status` |
|
||||
| `enqueue` / `dequeue` / `dispatchQueued` | FIFO 调度,空闲模型分配给队首会话(`pickModelFor` 优先回绑 `last_model_id`) |
|
||||
| `getRun` / `killRunProcs` | 每会话的运行控制(`cancelled` / `procs` / `abortController` / `looping`) |
|
||||
| `runLoop` / `runLoopInner` | Agent 主循环:buildMessages → callModel → 解包 tool args → 校验 → saveMessage → executeTool → saveMessage(tool) → SSE 广播 |
|
||||
| `runLoop` / `runLoopInner` | Agent 主循环:解析 profile → buildMessages → callModel → 解包 tool args → 校验 → saveMessage → executeTool → saveMessage(tool) → SSE 广播。每迭代现解 profile(`resolveProfileName`:`run.profile` > 模型配置 > 默认全量),prompt 与 tools 集(`effectiveTools` 按 `tools_allow` 过滤)跟着组合切换 |
|
||||
| `streamAssistant` | 单次上游调用:拿 abortSignal / shouldCancel / 各类回调,把流式 chunk 转 SSE 事件(`assistant_delta` / `reasoning_delta`) |
|
||||
| `createSession` | 生成 id(`task-YYYYMMDD-NNN`,序号从历史 + `meta.task_seq` 取大)→ mkdir 任务目录 → 决定立即绑/入队 |
|
||||
| `postUserMessage` | 用户消息入口;识别 active/held/queued 路径并决定是 `delivered:'live'` 还是 `'queued'` |
|
||||
@@ -250,13 +250,15 @@ stateDiagram-v2
|
||||
- **archived/summary 机制**(上下文压缩):`type='archived'` 的消息 UI 照常展示但不再发模型;`type='summary'` 是压缩后的"上下文起点"。压缩回合**不插入任何指令消息**:由 `engine.summarizeContext` 在内存 run 上标 `summarizing`,`runLoopInner` 据此走 `llm.compressMessages`:沿用默认 system prompt + 正常历史 messages,末尾追加一条 user(`server/templates/compress-prompt.txt` 原文,参考标题回合的拼法),且不传 tools;回合内首条无 tool_calls 的收尾回复即摘要。(`llm.buildMessages` 仍保留旧库 `summarize_request` 行的处理,仅为历史数据兼容。)
|
||||
- **图片(多模态)**:`messages.content` 列是 TEXT,含图时存 `{"__blocks__":[content...]}` 哨兵 JSON。新版 `read_file` 读图:sharp 压缩产物落任务目录 `.imgcache/`(前端文件列表隐带点的项),库里只存 `image_ref` 轻量块;`buildMessages` 发送前经调用方传入的 `mintUrl` 回调现签成公网外链(同 `mint_public_link` 那套 `GET /p/<id>`)填入 `image_url` 块,base64 不进 DB 也不进请求体;签不到降级为文字占位。旧库/用户粘贴附件的 `data:` URL 块原样透传。图块**只保留最后一条 assistant 之后的**(`lastAssistant` 判定),之前的换成"已省略"文字描述;UI 渲染走带 cookie 的会话内下载路由,历史永不裂图。
|
||||
- **保持租约**(`holdSweeper`):sweeper_ms 巡检(默认 10s);held 会话无观看者 idle_release_ms 释放(默认 3 分钟),有观看者 active_max_ms 强制释放(默认 30 分钟)。active 闲置(绑了模型但无 run 在跑、无未回应消息)按相同租约处理。
|
||||
- **profile(prompt+tools 组合)**:顶层 `model_profiles` 定义多套组合,`platforms[].models[].profile` 引用(见 §5.8);运行期前端发消息带 `profile` 参数覆写(写进 `run.profile`,与 `deepThink` 同约定:回合中途切换、下一迭代即生效;保留值 `default` = 显式全量)。名单外工具被调用不拦(`checkToolArgs` 查不到 def 不报错,`executeTool` 全表照跑);tools schema 只活在请求体不进历史,所以切换不脏化旧消息。压缩回合同跟随(小模型会话点压缩不会回退到默认大模板)。
|
||||
|
||||
### 5.2 `llm.js` —— 上游调用
|
||||
|
||||
| 函数 | 角色 |
|
||||
|---|---|
|
||||
| `systemPromptText(language)` | 拼模板 + 技能列表 + 语言指令;进程内缓存(`_promptTextCache`) |
|
||||
| `systemPromptText(language, profile?)` | 按 profile 名选 prompt 源(自定义文件完全接管、不拼技能段;缺省 = 默认模板 + 技能列表段),末尾统一拼语言指令;拼接结果按 (profile, 语言) 缓存(`_promptTextCache` Map) |
|
||||
| `setSkillListText(text)` | 技能列表变更后清缓存,强制重拼 |
|
||||
| `setProfilePrompts(map)` | profile 自定义 prompt 注册表(name→全文,文本已随配置加载读入);engine.init 调一次,运行期选取零 IO |
|
||||
| `buildMessages(session, lang, mintUrl?)` | DB 行 → OpenAI messages 数组;处理 summary/archived/errAck/图片消费;`image_ref` 块用 `mintUrl` 现签成公网 `image_url` 外链 |
|
||||
| `forEachSSEData(res, onEvent, onMeta, onBadData)` | 通用 SSE 帧解析(空行分隔,data: 行 JSON.parse,注释行走 onMeta) |
|
||||
| `callModel(cfg, modelId, messages, tools, opts)` | 一次模型调用;`opts.deepThink` 启用时合并 `thinking_params`;返回 `{content, reasoning, tool_calls, finish_reason, usage, aborted, sseFrames}` |
|
||||
@@ -332,7 +334,8 @@ stateDiagram-v2
|
||||
|
||||
- 加载:`loadConfig(AGENT_CONFIG)` 读文件 → `parseAndValidate`。
|
||||
- 兼容:旧版 `models[]`(扁平)自动迁移到 `platforms[]` 层级;旧版 `web_search.*` 迁移到 `mcp_servers[]`(log.info 提示)。
|
||||
- 规范化:`normalizePlatforms` 校验 `name/url/type`,key 层 `concurrency`,model 层 `{id, display_name, vision, enable, extra_params, thinking_params}`;同平台内 model id 必须唯一(内部唯一键 = 平台名/模型id)。
|
||||
- 规范化:`normalizePlatforms` 校验 `name/url/type`,key 层 `concurrency`,model 层 `{id, display_name, vision, enable, extra_params, thinking_params, profile}`;同平台内 model id 必须唯一(内部唯一键 = 平台名/模型id);`profile` 引用不存在的名字直接报错。
|
||||
- `model_profiles`(顶层,`normalizeModelProfiles`):多套可复用的 prompt+tools 组合,每项 `{tools_allow?, system_prompt_file?}`,两者至少配一个。`tools_allow` 复用 `normToolNames` 约定(非数组/空数组 = 未配),按**最终发给模型的工具名**匹配(含 MCP 的 `服务名__` 前缀,与 prompt.txt dump 同源可对);`system_prompt_file` 相对 `server/templates/`(compose 已 bind-mount ./app/server,宿主直接可改),**配置加载时一次性读入常驻内存**,缺失/为空报错拦在保存/重启预检。运行期切换(前端传参)零 IO、不碰本配置。
|
||||
- 默认值(`DEFAULTS`):port=8090、log_level=info、terminal default 30s/10K、agent temperature=1.0、max_tool_iterations=20、max_retries=2、model_hold 3min/30min/10s、上传 1.5MB 阈值/2000px/0.85。
|
||||
- 读写:`readConfigText` / `writeConfigText`(先校验后写,无原子 rename,因 bind mount 上 rename 会 EBUSY);`applyEditsToText` 用 `YAML.Document` 保留注释。
|
||||
- `getConfig` 是浅引用,路由层拿到的就是运行中实例,**改完 in-memory 不影响**(要重启)。
|
||||
@@ -417,12 +420,12 @@ AI 通过 `schedule_task` 工具为所在会话建周期性任务(`scheduled_t
|
||||
| 路径前缀 | 文件 | 主要端点 |
|
||||
|---|---|---|
|
||||
| `/api/sessions` | `routes/sessions.js` | `POST /` 创建、`GET /` 列表(分页 + 搜索 + user 隔离)、`GET /:id` 详情(含 `schedule` 字段,列表接口不带以免 N+1)、`PATCH /:id` 改名、`DELETE /:id?delete_dir=...`、`POST /:id/bind`、`DELETE /:id/schedule`(删定时任务,只落 `scheduler_note` 通知消息不触发 AI)、`PATCH /:id/schedule`(改提示词/频次,cron 经 validateCron 重校验并重算 next_run_at) |
|
||||
| `/api/sessions/:id/messages` | `routes/messages.js` | `POST /` 发消息(`delivered:'live'\|'queued'`)、`POST /start` "开始执行" 模板消息、`POST /stop`、`POST /release`(held→completed)、`DELETE /messages`(清空 + ?keep=summary)、`POST /summarize`(压缩)、`DELETE /messages/:mid`、`GET /stream` SSE 事件流 |
|
||||
| `/api/sessions/:id/messages` | `routes/messages.js` | `POST /` 发消息(body 可选 `deepThink` / `profile`(model_profiles 名,未知 400;`default`=显式全量;不传=随模型配置);响应 `delivered:'live'\|'queued'`)、`POST /start` "开始执行" 模板消息、`POST /stop`、`POST /release`(held→completed)、`DELETE /messages`(清空 + ?keep=summary)、`POST /summarize`(压缩)、`DELETE /messages/:mid`、`GET /stream` SSE 事件流 |
|
||||
| `/api/sessions/:id/files` | `routes/files.js` | `POST /` 上传(multer,50MB/文件,文件名清洗 sanitizeName)、`GET /` 列表(递归)、`GET /download[-name/...]` 签名下载(5 分钟 TTL)、`GET /zip-token` + `GET /zip[-name/...]` 选中项(含文件夹)打包 zip 流式下载(纯 Node STORE,两遍读:先 CRC 后磁盘流发送)、`DELETE /` 删文件(目录递归删) |
|
||||
| `/api/skills` | `routes/skills.js` | 技能列表/创建/重命名/删除 + 技能内文件 CRUD + 上传(`?overwrite=true` 覆盖) |
|
||||
| `/api/config` | `routes/config.js` | `GET /` 原文+生效(脱敏)、`POST /validate`、`PUT /` 整文件保存、`PATCH /` 单项修改(path/value/op[delete\|append]) |
|
||||
| `/api/platforms` | `routes/platforms.js` | `GET /balance?pi=&ki=` 余额 |
|
||||
| `/api/system` | `routes/system.js` | `GET /status`、`POST /restart?force=...` |
|
||||
| `/api/system` | `routes/system.js` | `GET /status`(含 `model_profiles` 可用组合名列表,前端模式选择器据渲染)、`POST /restart?force=...` |
|
||||
| `/api/models` | `server.js` | 空闲/占用模型池 + token 用量 |
|
||||
| `/api/health` | `server.js` | 健康检查 |
|
||||
| `/api/login` `/api/login_restore` `/api/logout` `/api/password` `/api/me` | `auth.js` | 认证路由(认证前) |
|
||||
@@ -469,11 +472,12 @@ AI 通过 `schedule_task` 工具为所在会话建周期性任务(`scheduled_t
|
||||
详见 `app/config.example.yml`(被 `cp` 为顶层 `config.yml` 部署,**已 gitignore**)。要点:
|
||||
|
||||
- `platforms[].keys[].models[]` —— 三层层级。内部唯一键 = `平台名/模型id`(用于历史会话回绑、用量统计),**改名等于重建其下所有模型**。
|
||||
- `model_profiles`(顶层)—— 多套可复用的 prompt+tools 组合(`{tools_allow?, system_prompt_file?}`);模型层用 `profile: <名>` 引用,不配 = 默认全量。小模型省上下文用,详见 §5.8;运行期可前端切换(见 §5.1)。
|
||||
- `agent.max_tool_iterations`(默认 20)—— 单轮迭代上限(含工具调用),到顶自动停止并提示用户继续输入。
|
||||
- `terminal.max_output_chars`(默认 10000)—— AI 看到的命令输出上限;executor 侧另有 `EXECUTOR_MAX_OUTPUT_CHARS=200000` 兜底。
|
||||
- `skills.skills_root` —— 缺省取 `workspace_root` 的同级 `skills/`。
|
||||
- `model_hold` —— 保持租约;详情见 §5.1。
|
||||
- 上下文压缩 —— 无配置项:压缩回合的 system prompt 整体替换为固定模板 `server/templates/compress-prompt.txt`,该回合不传 tools;调整压缩策略直接改该文件。
|
||||
- 上下文压缩 —— 无配置项:压缩回合沿用当前 profile 的 system prompt(无 profile = 默认模板)+ 正常历史,末尾追加一条 user(固定模板 `server/templates/compress-prompt.txt` 原文),该回合不传 tools;调整压缩策略直接改该文件。
|
||||
- 会话标题自动生成 —— 无配置项:首次交互回合结束(`finalize` 成功分支)后触发,用会话当前 model_id 发一次**不带 system、不传 tools** 的标题请求(历史 user/assistant 原文 + 模板 `server/templates/title-prompt.txt` 作末条 user,`{{language}}` 填 `agent.language`);结果清洗后写入 `sessions.title` 并 SSE 推 `title` 事件。失败静默(title 仍空,下个回合结束自动重试);已有标题(建会话时填写或手动重命名)不覆盖。
|
||||
- `auth.users` —— 明文密码配在配置里(自用场景);`secret` 留空则随机生成(重启掉登录态,建议固定随机串)。
|
||||
- `mcp_servers[].enable: false` —— 启动不加载该服务(配置保留),其余工具不受影响。
|
||||
@@ -599,7 +603,7 @@ sequenceDiagram
|
||||
|
||||
### 11.4 加一个模型 / 平台
|
||||
|
||||
改 `config.yml` 的 `platforms`:加新平台 `{name, url, type, keys:[{api_key, models:[{id, display_name, vision?, enable?, extra_params?, thinking_params?}]}]}`,**或**在已有平台加新 key/新 model。重启生效。`enable: false` 的模型不进模型池。
|
||||
改 `config.yml` 的 `platforms`:加新平台 `{name, url, type, keys:[{api_key, models:[{id, display_name, vision?, enable?, extra_params?, thinking_params?}]}]}`,**或**在已有平台加新 key/新 model。重启生效。`enable: false` 的模型不进模型池。小模型可加 `profile: <名>` 引用顶层 `model_profiles` 的 prompt+tools 组合(见 §5.8)。
|
||||
|
||||
模型内部唯一键 = `平台名/模型id`(用于历史回绑、token 用量统计)—— **重命名平台等于重建其下所有模型**。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user