From 5a80de6baeecef3a704d71a21769990ed6849f58 Mon Sep 17 00:00:00 2001 From: kicer Date: Tue, 22 Sep 2026 15:15:26 +0800 Subject: [PATCH] =?UTF-8?q?=E9=87=8D=E6=9E=84=E9=85=8D=E7=BD=AE=E7=9B=B8?= =?UTF-8?q?=E5=85=B3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 42 +++----- app/README.md | 2 +- app/config.example.yml | 231 +++++++++-------------------------------- app/server/config.js | 71 ++++++------- docker-compose.yml | 6 ++ docs/ARCHITECTURE.md | 8 +- docs/DEPLOY.md | 42 +++----- scripts/init.sh | 83 ++++++--------- 8 files changed, 153 insertions(+), 332 deletions(-) diff --git a/README.md b/README.md index b843204..d4de708 100644 --- a/README.md +++ b/README.md @@ -811,38 +811,30 @@ HTTP 直连时浏览器不认为这是“安全上下文”:PWA/Service Worker ## 十四、配置文件示例 +完整字段与默认值见 `app/config.example.yml`(与 `server/config.js` 的 `DEFAULTS` 一一对应); +部署时由 `scripts/init.sh` 生成的顶层 `config.yml` 只覆盖 `platforms` / `auth` / `mcp_servers`。 + ```yaml -# 模型池:平台(platforms) → Key → 模型 三层。url/type 配在平台,api_key/concurrency 配在 Key, -# 模型只声明 {id, display_name, vision}。加载时打平成全局模型列表。 +# 模型池:平台(platforms) → models(平台层,多 key 共用)+ keys(api_key/concurrency)。 +# url/type 配在平台层;模型只声明 {id, display_name, profile, vision}。加载时打平成全局模型列表。 platforms: - name: proxy-a url: "https://proxy-a.example.com/v1" - type: openai # openai/deepseek/custom,决定余额查询适配器(预留) + type: openai # 选填,缺省取 name;决定余额查询适配器 + models: + - id: ds1 + display_name: "AMD DeepSeek 1" # 选填,缺省同 id + profile: mini # 选填,引用顶层 model_profiles 的 prompt+tools 组合 keys: - api_key: "sk-..." - concurrency: 1 # 该 Key 并发会话数,默认 1(当前仅记录,未参与调度) - models: - - id: ds1 - display_name: "AMD DeepSeek 1" - # vision: true # 选填,默认 false - - name: proxy-c - url: "https://proxy-c.example.com/v1" - type: custom - keys: - - api_key: "sk-..." - models: - - id: ds3 - display_name: "AMD DeepSeek 3" - # profile: mini # 选填,引用顶层 model_profiles 的 prompt+tools 组合(小模型省上下文用) + concurrency: 1 # 该 Key 并发会话数,默认 1 -# 模型 profile(可选):预定义多套「system prompt 文件 + tools 白名单」组合,模型用 profile: <名> -# 引用(同 id 模型跳平台复用时免重复配置)。不配 profile 的模型照旧全量。动机:默认发给模型的 -# 内置工具 schema + system prompt 约 6K token,特别小的模型会被撑爆上下文。 -# 改后重启生效;运行期前端可在已定义组合间手动切换(发消息带 profile 参数,纯内存选择、不碰配置)。 -# model_profiles: -# mini: -# tools_allow: [read_file, write_file, edit_file, list_directory, find_path, grep, terminal] # 白名单(内置名 + MCP 最终名) -# system_prompt_file: mini-system.txt # 相对 server/templates/ 的自定义 prompt +# 模型 profile:预定义「system prompt 文件 + tools 白名单」组合,模型用 profile: <名> 引用。 +# 内置 mini/zero 两套默认组合,可用同名覆盖或新增;详见 §5.8。 +model_profiles: + mini: + tools_allow: [read_file, write_file, edit_file, list_directory, terminal] + system_prompt_file: mini-system.txt # 相对 server/templates/ workspace_root: "/workspace/tasks" diff --git a/app/README.md b/app/README.md index 680e42b..3ab50d6 100644 --- a/app/README.md +++ b/app/README.md @@ -33,7 +33,7 @@ app/ ```bash cd app npm install -cp config.example.yml config.yml # 修改 models(每个模型独立 url/api_key) +cp config.example.yml config.yml # 补 platforms(必填);本地跑把 workspace_root / data_root 改回 ./data/... npm start # http://localhost:8090 ``` diff --git a/app/config.example.yml b/app/config.example.yml index b8fa164..2411b85 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -1,197 +1,64 @@ -# 自用通用 Agent 系统配置示例 -# 复制为 config.yml 后按需修改;容器内通过 AGENT_CONFIG 指定路径。 +# config.example.yml — 配置模板:与 server/config.js 的 DEFAULTS 一一对应。 +# 复制为 config.yml 后补齐 platforms(至少一个平台,否则启动报错),其余可按需覆盖。 -# 模型池:平台(platforms) → models + keys 两层结构。url/type/models 配在平台层(同一份 models -# 被该平台下所有 key 共用),api_key/concurrency 配在 keys 里(每个 key 独立账号/额度)。 -# 加载时自动打平:每个 key 复制一份该平台下所有 models,生成全局 cfg.models 列表。 -# 暂按每 key 1 会话调度(同平台模型共享该批 key,平台 key 全满则其下模型均不可选);concurrency 已解析入库,后续再接调度。 -platforms: - - name: proxy-a # 平台名;留空取 url 主机名首段。注意:它是模型唯一键的一部分,改名等于重建其下所有模型(历史会话回绑失效、用量统计分家) - url: "https://proxy-a.example.com/v1" # OpenAI 兼容 /v1 地址,该平台下所有模型共用 - type: openai # 选填,缺省取 name;余额查询按 type 找适配器(已接 deepseek/bigmodel),未命中返回「暂未接入」 - models: # 该平台下所有模型(与 url/type 同级);多 key 共用 - - id: ds1 # 上游模型名;只需同平台内唯一(不同平台可同名),内部唯一键 = 平台名/模型id,历史会话按它绑定,页面不可改 - display_name: "AMD DeepSeek 1" # 显示名,缺省同 id - # profile: mini # 选填:引用顶层 model_profiles 的 prompt+tools 组合(小模型省上下文),见下方示例;不配 = 默认全量 - # vision: true # 选填,默认 false;支持时 read_file 读图会压缩回传(长边≤2000px JPEG),会话上下文会告知 AI - # enable: false # 选填,默认 true;禁用后不进模型池,不参与分配/绑定(重启生效) - # extra_params: # 选填:每次发往上游都会合并进 body 顶层的对象;同 key 覆盖默认(model/messages/stream/temperature/tools) - # top_p: 0.9 - # response_format: { type: "json_object" } - # thinking_params: # 选填:仅「深度思考」开启时合并进 body(优先级高于 extra_params) - # thinking: { type: "enabled", budget_tokens: 4096 } - - id: ds2 - display_name: "AMD DeepSeek 2" - - id: ds3 - # display_name 缺省 = id - keys: - - api_key: "sk-..." # 各 Key 独立(同平台不同账号/额度),留空则不带鉴权头 - concurrency: 1 # 该 Key 并发会话数,默认 1(当前仅记录,未参与调度) - - api_key: "sk-..." # 同平台的第二个 Key,自动可用上面所有 models - - name: proxy-c - url: "https://proxy-c.example.com/v1" - # type 缺省取 name(=proxy-c),未命中适配器时余额查询会返回「暂未接入」 - models: - - id: ds4 - display_name: "No Auth Model" - keys: - - api_key: "" - - name: bigmodel # 智谱 bigmodel:起名 bigmodel 可省略 type,自动命中 bigmodel 适配器 - url: "https://open.bigmodel.cn/api/paas/v4" - models: - - id: glm-4.6 - keys: - - api_key: "your-key" +# 模型平台池:每平台 {name, url, type?, models:[{id, ...}], keys:[{api_key, concurrency?}]}。 +platforms: [] -# 模型 profile(可选):预定义多套「prompt + tools 白名单」组合,platforms 里的模型用 -# profile: <名字> 引用,同 id 模型跨平台复用时免重复配置。动机:默认发给模型的 -# 内置工具 schema + system prompt 合计 ~20KB 字符(约 6K token),对特别小的模型会撑爆上下文。 -# - tools_allow:白名单(字符串数组),只保留名单内的工具发给模型;内置名 + MCP 最终名 -# (含冲突时加的 服务名__ 前缀,与 data/prompt.txt dump 一致可对)。不配 = 全量发; -# 空数组 [] = 一个都不发(纯文本模式,给弱到不会调工具的小模型;与 MCP 的 tools_allow -# 「空名单视作未配」约定有意不同)。只影响模型「看得到什么」:名单外但真实存在的工具若被调用, -# 后端照常执行,不拦不误杀。 -# - system_prompt_file:自定义 system prompt 文件,相对 server/templates/(也接受绝对路径), -# 配置加载时一次性读入常驻内存;设了即完全接管模板正文(末尾语言指令仍自动拼)。 -# 想要技能清单在模板里放 {APP_SKILLS} 占位符(拼装时就地替换为已装技能列表;不放 = 没有技能段), -# 默认模板同机制。文件缺失/为空直接校验报错。两者至少配一个;引用不存在的 profile 名同样直接报错。 -# 改本段需重启;运行期前端可在已定义的 profile 间手动切换(发消息带 profile 参数, -# 纯内存选择、下一请求即生效,不碰配置文件);列表随 /api/system/status 的 model_profiles 下发。 -# model_profiles: -# mini: # 2B 级小模型:只留文件读写 + 终端 -# tools_allow: [read_file, write_file, edit_file, list_directory, find_path, grep, terminal] -# system_prompt_file: mini-system.txt # 配套的精简提示词(别留着默认模板里「用 XX 工具…」的段落) -# web-only: # 只配白名单也行,prompt 沿用默认模板 -# tools_allow: [read_file, grep, fetch, web-search__search] +# 模型 profile:prompt + tools 白名单组合,模型用 profile: <名> 引用(不配 = 全量)。 +model_profiles: + mini: # 小模型:只留核心工具,省上下文 + tools_allow: [read_file, write_file, edit_file, list_directory, terminal, fetch, web_search, get_skill_info, run_skill] + system_prompt_file: mini-system.txt # 相对 server/templates/(也接受绝对路径) + zero: # 纯文本对话:一个工具都不发 + tools_allow: [] + system_prompt_file: zero-system.txt -workspace_root: "./data/tasks" -# 数据根目录:db(默认 .agent.db)与启动 prompt dump(prompt.txt)放这里;相对路径按启动目录展开。 -# 容器部署建议指到挂载卷内(如 /workspace/data),否则重建容器会丢数据。 -data_root: "./data" -# db_path: "/workspace/data/.agent.db" # 显式配置优先;缺省为 data_root/.agent.db +port: 8090 # 服务监听端口 +workspace_root: "/workspace/tasks" # 任务工作区根目录,AI 文件操作限制在此 +data_root: "/workspace/data" # 数据根目录:SQLite 与 prompt dump +db_path: "" # 留空取 data_root/.agent.db +log_level: "info" # debug < info < warn < error < none -# agent-executor(独立命令执行容器,见根目录 executor/):url 非空时 terminal 工具与技能命令 -# 都发到该服务执行(SSE 实时回传),core 镜像不再携带 python 等重工具链; -# 留空则本地 spawn(裸机开发)。两侧需同路径挂载 ./tasks、./skills; -# compose 已用环境变量 EXECUTOR_URL/EXECUTOR_TOKEN 注入,通常无需在这里配。 -# executor: -# url: "http://agent-executor:9000" -# token: "change-me" # 选填;executor 侧配同值才校验 - -# 公网临时链接(给"自己来拉文件"的外部服务用:例如智谱视频生成前要下载参考图)。 -# 机制:沙箱里的 AI 调内置工具 mint_public_link(传文件名),core 在进程内直接签出一条 -# 短命的公网下载链接(不可猜 / 会过期 / 绑会话 / 重启即全部失效),外部服务再匿名 GET /p/ 取文件。 -# 全程不监听额外端口、不搬字节(文件始终在任务目录里)。 -# base_url 填本服务的对外地址(就是浏览器访问的 http://<服务器IP>:),只用于拼绝对地址; -# 留空 = 该功能整体关闭(mint_public_link 会直接报错,对应 MCP 服务里需要公网 URL 的那部分就用不了)。 -# 容器 env 里配了 VIRTUAL_HOST(nginx-proxy 域名 + HTTPS 那套)时,本项会被它盖住:链接前缀直接用 -# https://<第一个域名>,不需要改这里(也避开了“重跑 init 脚本又把它写回 ip:port”的麻烦)。 -public_link: - base_url: "" # 例:"http://1.2.3.4:8090" - ttl_ms: 1800000 # 选填:链接有效期,默认 30 分钟(代码里夹在 1 分钟 ~ 24 小时) - -# 日志等级(改后重启生效):debug < info < warn < error < none,只输出 ≥ 该等级的日志;none=全部静默。 -# info(默认)=关键动作概述;debug 另加用户/AI 消息全文、工具调用参数/结果等排查细节。 -log_level: info +executor: # 独立命令执行服务;两侧需同路径挂载 tasks/skills + url: "" # 非空走远端执行;留空读 env EXECUTOR_URL 或本地 spawn + token: "" # 与 executor 侧同值;留空读 env EXECUTOR_TOKEN terminal: - default_timeout_ms: 30000 - max_output_chars: 10000 - -# Skill Manager:技能根目录,所有任务/会话共享(容器内挂 ./skills → /workspace/skills)。 -# skills_root 缺省取 workspace_root 的同级 skills 目录(如 /workspace/tasks → /workspace/skills);可显式覆盖。 -skills: - skills_root: "/workspace/skills" - timeout_ms: 120000 # 单个技能执行超时,默认 120 秒 + default_timeout_ms: 30000 # 命令默认超时(ms) + max_output_chars: 10000 # 回传模型的最大输出字符数 agent: - temperature: 1.0 - max_tool_iterations: 20 - max_retries: 2 - # 回复语言:注入到 system prompt 末尾,强制模型用该语言回复用户 - # (工具名/代码/命令保持原样);留空则不限制。改后重启生效。 - language: "中文" + temperature: 1.0 # 采样温度 + max_tool_iterations: 50 # 单轮最大迭代数(含工具调用) + max_retries: 2 # 上游失败重试次数 + language: "Simplified Chinese" # 强制回复语言;留空不限 + auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关 -# 大图上传预处理:图片超过 threshold_kb(默认 1.5M)时,浏览器端询问是否压缩; -# 同意后在用户本地 canvas 压缩(长边 ≤ image_max_dim,JPEG image_quality)再上传。 -# confirm_size_mb:任意文件最终体积超过该值时再弹一次「继续上传」确认(multer 硬限 50M 不变)。 upload: - image_compress_threshold_kb: 1536 - image_max_dim: 2000 - image_quality: 0.85 - confirm_size_mb: 10 + image_compress_threshold_kb: 1536 # 大图压缩提示阈值(KB) + image_max_dim: 2000 # 压缩后长边上限(px) + image_quality: 0.85 # JPEG 质量 + confirm_size_mb: 10 # 任意文件二次确认阈值(MB) + +skills: + skills_root: "" # 留空取 workspace_root 同级 skills 目录 + timeout_ms: 120000 # 单个技能执行超时(ms) -# 模型保持占用(held)租约:AI 答完后不立即释放模型,用户追问可直接复用。 -# 页面无人观看超过 idle_release_ms 释放;有人观看最长保持 active_max_ms;sweep_ms 巡检间隔。 -# 新建后从未发言的空闲会话也按同一租约自动释放。 model_hold: - idle_release_ms: 180000 # 3 分钟 - active_max_ms: 1800000 # 30 分钟 - sweep_ms: 10000 # 10 秒 + idle_release_ms: 180000 # 无人观看超时释放(ms) + active_max_ms: 1800000 # 有人观看最长保持(ms) + sweep_ms: 10000 # 租约巡检间隔(ms) -# 上下文压缩:顶栏「压缩」按钮触发。压缩指令不作为 user 消息插入会话: -# 压缩回合沿用默认 system prompt + 正常历史,末尾追加一条 user(提示词原文),且该回合不传 tools。 -# 提示词固定在 server/templates/compress-prompt.txt,需要调整压缩策略时直接改该文件。 +auth: # users 留空 = 不启用登录认证 + secret: "" # 登录态签名密钥;留空则每次重启随机(需重新登录) + ttl_ms: 2592000000 # 登录态有效期(ms,默认 30 天) + users: + - user: admin # 默认账号 + password: "admin" # 默认密码,请务必修改 -# 登录认证(推荐启用):多用户,用户名/明文密码直接配在这里(自用场景)。 -# 登录页 /login,会话 token 以 HttpOnly cookie 下发(替代 nginx htpasswd: -# 手机浏览器原生下载不带 Basic 认证头,cookie 则会自动携带,下载不再失败)。 -# 仍兼容 Authorization: Basic 头(curl/API 脚本可用)。 -# secret:签名密钥;留空则启动时随机生成(重启后需重新登录),建议固定随机串。 -# 登录页支持用 localStorage 里的 token 静默恢复登录态(POST /api/login_restore), -# 兼容 Android WebView 封装 APK 杀进程后 cookie 未落盘的场景。 -# 整段删除或 users 留空则不启用认证。 -# auth: -# secret: "change-me" # 选填;建议固定,避免重启掉登录态 -# ttl_ms: 2592000000 # 选填,登录态有效期,默认 30 天 -# users: -# - user: admin -# password: "change-me" -# - user: alice -# password: "s3cret" +# 外部 MCP 服务列表:每项 {name?, url, headers?, enable?(默认 true), timeout_ms?, tools_allow?, tools_deny?}。 +mcp_servers: [] -# MCP 服务(可配多个;与内置工具分开)。启动时对每个服务调 tools/list 发现工具, -# 追加到内置工具之后一起发给模型;调用经 tools/call 转发。headers 是任意请求头(如 Authorization)。 -# enable 选填、默认 true;设为 false 时启动不加载该服务的工具(配置保留,改回 true 重启即恢复)。 -# timeout_ms 选填、默认 60000:该服务单次工具调用的最大等待(毫秒,有 1s~10min 夹限), -# 像视频生成这类上游就是慢的服务可以调大;握手/工具发现阶段用固定的 15s,不受本项影响。 -# tools_allow / tools_deny 选填:工具名单(字符串数组,按服务端的原始工具名在发现阶段过滤)。 -# allow 是白名单(配了就只保留名单内的),deny 在其后叠加生效(deny 优先);空名单视作未配。 -# 用于控制发给模型的工具数:单服务动辄二三十个工具(如浏览器类),只放行主循环用得上的。 -# 服务不可用时只在启动日志告警,不影响其他服务与内置工具。 -# -# 无域名部署:agent-core 与 mcp 仓库的容器共用 agent-mcp-net,这里直接写【容器名:容器内端口】, -# 别写宿主机映射端口。日后改回域名/反代时,换成对应 https 地址即可。 -mcp_servers: - - name: web-search # 选填,缺省取主机名首段 - url: "http://mcp_web_search:3000/" # web_search 无服务端鉴权,不需要 headers - enable: true # 选填,默认 true;false 时启动不加载 - # timeout_ms: 60000 # 选填,单次工具调用最大等待(毫秒),默认 60s - # 智谱系服务:token 由客户端透传(每次请求都要带),值填你的智谱 API Key。 - # 路径带 /mcp(web_search 是根路径 /,image/video gen 是 /mcp)。 - # - name: image-gen - # url: "http://mcp_image_gen:3000/mcp" - # headers: - # Authorization: "Bearer <你的智谱 API Key>" - # - name: video-gen - # url: "http://mcp_video_gen:3000/mcp" - # headers: - # Authorization: "Bearer <你的智谱 API Key>" - # 浏览器(Playwright MCP,需自行起 agent-browser 容器):工具多、单次操作比普通 MCP 慢, - # 典型用法就是白名单只放行要用的那几个 + 调大 timeout。 - # - name: browser - # url: "http://agent-browser:8931/mcp" - # enable: true - # timeout_ms: 120000 - # tools_allow: - # - browser_navigate - # - browser_snapshot - # - browser_click - # - browser_fill_form - # - browser_type - # - browser_press_key - # - browser_select_option - # - browser_wait_for - # - browser_tabs - # - browser_handle_dialog - # - browser_take_screenshot +public_link: + base_url: "" # 留空关闭 mint_public_link;填本服务对外地址 + ttl_ms: 1800000 # 链接有效期(ms) diff --git a/app/server/config.js b/app/server/config.js index 2fa387e..3111b9a 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -58,55 +58,45 @@ function normalizeModelProfiles(rawProfiles) { return out; } +// 默认配置:与 app/config.example.yml 一一对应(改这里同时改示例,保持同步)。 const DEFAULTS = { port: 8090, - // 数据根目录:db、prompt dump 等运行时产物默认放这里(容器内挂 ./data → /workspace/data)。 - data_root: './data', - workspace_root: './data/tasks', - db_path: '', // 默认为 data_root/.agent.db - // agent-executor(独立命令执行容器):url 非空时 terminal 工具与技能命令全部改走远端执行 - // (core 镜像不再携带 python/libreoffice 等重工具链);留空则本地 spawn(裸机开发兼容)。 - // 配置留空时退到环境变量 EXECUTOR_URL / EXECUTOR_TOKEN(compose 注入)。 + // 任务工作区根目录:AI 的文件操作限制在此(容器内挂 ./tasks → /workspace/tasks)。 + workspace_root: '/workspace/tasks', + // 数据根目录:SQLite(.agent.db)与启动 prompt dump 放这里(容器内挂 ./data → /workspace/data)。 + data_root: '/workspace/data', + // 缺省 data_root/.agent.db。 + db_path: '', + // 命令执行服务:url 非空走远端 executor,留空本地 spawn;留空时回退 env EXECUTOR_URL / EXECUTOR_TOKEN。 executor: { url: '', token: '' }, terminal: { default_timeout_ms: 30000, max_output_chars: 10000 }, - // auto_compress_tokens: 每轮回合完全结束后,若本轮 In token(各模型轮 prompt_tokens 峰值)≥ 此阈值, - // 向前端推送一次「自动压缩」确认弹窗(同手动点压缩-摘要),用户手动确认后才开始压缩;0=永不提议。 - // 每会话至多弹一次(取消/忽略后不再打扰,删会话/清空历史/重启后重置)。 - // 只在回合循环结束、finalize 之后检查,AI↔工具交互过程中绝不触发;压缩回合自身不再复查(防递归)。 - // 满足条件后延迟 1.5s 再推送(避开超长回合刚结束时前端收尾渲染的高峰;期间会话有变动则撤回提议)。 - // 改后重启生效。 + // auto_compress_tokens:本轮 In token 峰值 ≥ 此值时推送「自动压缩」提议(0=关)。 agent: { temperature: 1.0, max_tool_iterations: 50, max_retries: 2, language: 'Simplified Chinese', auto_compress_tokens: 60000 }, - // 大图上传预处理:图片文件超过 threshold_kb 时,浏览器端询问用户后用 canvas 压缩 - // (长边 ≤ max_dim,JPEG quality)再上传,减轻服务器带宽与存储压力。 - // confirm_size_mb:任意文件最终体积超过该值(默认 10M)时再弹一次「继续上传」确认。 - // 参数经 /api/system/status 下发给前端。 + // 大图上传预处理(浏览器端 canvas 压缩,参数经 /api/system/status 下发前端)。 upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10 }, - // 技能(Skill Manager):skills_root 为技能根目录,所有任务/会话共享(容器内挂我 ./skills → /workspace/skills); - // 缺省取 workspace_root 的同级目录 skills(如 /workspace/tasks → /workspace/skills)。timeout_ms 为单个技能执行超时,默认 120000。 + // 技能根目录:留空取 workspace_root 同级 skills(/workspace/tasks → /workspace/skills)。 skills: { skills_root: '', timeout_ms: 120000 }, - // 回合结束后模型保持占用(held)的租约:页内无人观看超过 idle_release_ms 则释放; - // 即便一直有人观看,最长也只保持 active_max_ms;sweep_ms 为巡检间隔。 - // 「绑定模型但闲置」的会话(从未发言、无未回应消息)同样按此租约释放,防建而不用霸占模型。 - model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, - // 日志等级:debug < info < warn < error < none,只输出 >= 阈值等级的日志;none=全部静默。 - log_level: 'info', - // 上下文压缩提示词不再走配置:压缩回合沿用默认 system prompt + 正常历史, - // 末尾追加一条 user(提示词原文),不传 tools;模板在 server/templates/compress-prompt.txt。 + // 回合结束后模型保持占用(held)租约:无人观看 idle_release_ms 释放,有人观看最长 active_max_ms,sweep_ms 巡检。 + model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, + // 日志等级:debug < info < warn < error < none(none=全部静默)。 + log_level: 'info', + // 模型平台池(无默认值,结构见 config.example.yml)。 platforms: [], - // 模型 profile(prompt+tools 组合):顶层定义、platforms 里的模型用 profile: 名称引用(可复用)。 - // 每项 {tools_allow?, system_prompt_file?},详见 normalizeModelProfiles;改配置需重启生效。 - // 运行期前端可在已定义的 profile 间手动切换(纯内存选择),不碰本配置。 - model_profiles: {}, - // 登录认证:{ users: [{user, password}], secret?, ttl_ms? },密码明文存配置(自用场景)。 - // users 为空则不启用认证(可交给前置 nginx-proxy,但手机浏览器原生下载不带 Basic 头,不推荐)。 + // 模型 profile(prompt + tools 白名单组合):platforms 里的模型用 profile: <名> 引用。 + model_profiles: { + // 小模型:只留文件/终端/网页等核心工具,省上下文。 + mini: { + tools_allow: ['read_file', 'write_file', 'edit_file', 'list_directory', 'terminal', 'fetch', 'web_search', 'get_skill_info', 'run_skill'], + system_prompt_file: 'mini-system.txt', + }, + // 纯文本对话:一个工具都不发。 + zero: { tools_allow: [], system_prompt_file: 'zero-system.txt' }, + }, + // 登录认证:{users:[{user,password}], secret?, ttl_ms?};null / users 空 = 不启用。 auth: null, - // MCP 服务列表:每项 {name?, url, headers?, enable?(默认 true,false 时启动不加载), - // timeout_ms?(单次工具调用最大等待,默认 60s)};启动时发现其工具并追加到内置工具之后。 - // 注意与内置工具(definitions.json)严格分离:这里只配外部 MCP 服务。 + // 外部 MCP 服务列表(无默认值):{name?, url, headers?, enable?(默认 true), timeout_ms?(默认 60s)}。 mcp_servers: [], - // 公网临时链接:内置工具 mint_public_link 的唯一开关。base_url 非空时,工具会把会话目录里的 - // 文件签成一条短命的公网下载链接(给智谱那类"自己来拉文件"的外部服务用);留空则工具报错。 - // base_url = 本服务的对外地址(如 http://1.2.3.4:8090),只用于拼绝对地址;不监听任何额外端口。 + // 公网临时链接:base_url 非空才启用 mint_public_link;容器配 VIRTUAL_HOST 时以它为准。 public_link: { base_url: '', ttl_ms: 1800000 }, }; @@ -229,7 +219,8 @@ function parseAndValidate(rawText, configPath) { if (!Array.isArray(raw.platforms) || !raw.platforms.length) { throw new Error('配置缺少 platforms:至少需要一个平台 {name, url, keys:[{api_key}], models:[{id}]}') } - cfg.model_profiles = normalizeModelProfiles(raw.model_profiles); + // 用 deepMerge 后的 cfg.model_profiles(含内置 mini/zero),故 config.yml 不配也有默认组合。 + cfg.model_profiles = normalizeModelProfiles(cfg.model_profiles); cfg.platforms = normalizePlatforms(raw.platforms, new Set(Object.keys(cfg.model_profiles))); cfg.models = []; cfg.platforms.forEach((p, pi) => p.keys.forEach((k, ki) => p.models.forEach((m, mi) => { diff --git a/docker-compose.yml b/docker-compose.yml index f9255a4..008fab2 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -21,8 +21,12 @@ services: # 调用鉴权 token:两侧同一值。从 .env 读取(已 gitignore),不再硬编码进仓库; # 未设置则 compose 直接报错,避免静默无鉴权。生成:openssl rand -hex 32 - EXECUTOR_TOKEN=${EXECUTOR_TOKEN:?EXECUTOR_TOKEN not set - see .env.example} + - VIRTUAL_HOST=agent.ai.foresh.com + - VIRTUAL_PORT=8090 + - CERT_NAME=default networks: - agent-mcp-net + - my-app-network # 技能准备(一次性,跑完退出):把各技能的“运行期可变”依赖落到宿主 ./skills—— # requirements.txt → 先离线探测,只把镜像缺的包装进共享 deps 目录(镜像已带的不重复装); @@ -132,3 +136,5 @@ networks: agent-mcp-net: name: agent-mcp-net driver: bridge + my-app-network: + external: true diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index fd8af42..f9492f9 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -336,7 +336,7 @@ stateDiagram-v2 - 兼容:旧版 `models[]`(扁平)自动迁移到 `platforms[]` 层级;旧版 `web_search.*` 迁移到 `mcp_servers[]`(log.info 提示)。 - 规范化:`normalizePlatforms` 校验 `name/url/type`,key 层 `concurrency`,model 层 `{id, display_name, vision, enable, extra_params, thinking_params, profile}`;同平台内 model id 必须唯一(内部唯一键 = 平台名/模型id);`profile` 引用不存在的名字直接报错。 - `model_profiles`(顶层,`normalizeModelProfiles`):多套可复用的 prompt+tools 组合,每项 `{tools_allow?, system_prompt_file?}`,两者至少配一个。`tools_allow` 按**最终发给模型的工具名**匹配(内置 + MCP,含 `服务名__` 前缀,与 prompt.txt dump 同源可对);未配 = 全量,**空数组 `[]` = 零工具(纯文本组合)**——与 MCP 的 `tools_allow`(空名单视作未配)有意不同。`system_prompt_file` 相对 `server/templates/`(compose 已 bind-mount ./app/server,宿主直接可改),**配置加载时一次性读入常驻内存**,缺失/为空报错拦在保存/重启预检;自定义文件 = 完全接管模板正文,技能清单靠模板内 `{APP_SKILLS}` 占位符就地插入(不放 = 无技能段;默认模板同机制,见 §5.2),语言指令始终尾拼。运行期切换(前端传参)零 IO、不碰本配置。 -- 默认值(`DEFAULTS`):port=8090、log_level=info、terminal default 30s/10K、agent temperature=1.0、max_tool_iterations=20、max_retries=2、model_hold 3min/30min/10s、上传 1.5MB 阈值/2000px/0.85。 +- 默认值(`DEFAULTS`):port=8090、workspace_root/data_root=`/workspace/tasks` `/workspace/data`、log_level=info、terminal 30s/10K、agent temperature=1.0、max_tool_iterations=50、max_retries=2、model_hold 3min/30min/10s、上传 1.5MB/2000px/0.85;内置 `model_profiles` 含 `mini`(文件/终端/网页白名单 + `mini-system.txt`)与 `zero`(零工具 + `zero-system.txt`)。`config.yml` 只覆盖 deploy 相关段,其余走默认值;整份清单见 `app/config.example.yml`。 - 读写:`readConfigText` / `writeConfigText`(先校验后写,无原子 rename,因 bind mount 上 rename 会 EBUSY);`applyEditsToText` 用 `YAML.Document` 保留注释。 - `getConfig` 是浅引用,路由层拿到的就是运行中实例,**改完 in-memory 不影响**(要重启)。 @@ -469,10 +469,10 @@ AI 通过 `schedule_task` 工具为所在会话建周期性任务(`scheduled_t ## 9. 配置 -详见 `app/config.example.yml`(被 `cp` 为顶层 `config.yml` 部署,**已 gitignore**)。要点: +详见 `app/config.example.yml`(字段与 `server/config.js` 的 `DEFAULTS` 一一对应;顶层 `config.yml` 由 `scripts/init.sh` 生成或手建,**已 gitignore**)。要点: - `platforms[].keys[].models[]` —— 三层层级。内部唯一键 = `平台名/模型id`(用于历史会话回绑、用量统计),**改名等于重建其下所有模型**。 -- `model_profiles`(顶层)—— 多套可复用的 prompt+tools 组合(`{tools_allow?, system_prompt_file?}`);模型层用 `profile: <名>` 引用,不配 = 默认全量。小模型省上下文用,详见 §5.8;运行期可前端切换(见 §5.1)。 +- `model_profiles`(顶层)—— 多套可复用的 prompt+tools 组合(`{tools_allow?, system_prompt_file?}`);模型层用 `profile: <名>` 引用,不配 = 默认全量。内置 `mini`/`zero` 两套默认组合,可用同名覆盖。小模型省上下文用,详见 §5.8;运行期可前端切换(见 §5.1)。 - `agent.max_tool_iterations`(默认 20)—— 单轮迭代上限(含工具调用),到顶自动停止并提示用户继续输入。 - `terminal.max_output_chars`(默认 10000)—— AI 看到的命令输出上限;executor 侧另有 `EXECUTOR_MAX_OUTPUT_CHARS=200000` 兜底。 - `skills.skills_root` —— 缺省取 `workspace_root` 的同级 `skills/`。 @@ -711,6 +711,6 @@ sequenceDiagram - `README.md` —— 设计文档(API 设计、SQLite 表结构、任务目录结构、Agent 主循环伪代码、Zed 风格工具定义全集) - `docs/DEPLOY.md` —— 部署(Docker,IP:端口直连;外部网络、配置绝对路径、SSE 缓冲坑) - `docs/v2-develop.md` —— v2 移动单聊视图 -- `app/config.example.yml` —— 配置模板(每个字段的注释很全) +- `app/config.example.yml` —— 配置模板(字段与 `DEFAULTS` 一一对应,每个字段一行注释) - `app/server/templates/system-prompt.txt` —— AI system prompt 全文 - `executor/server.js` 头注释 —— executor 协议、安全约束、日志/资源护栏一览 diff --git a/docs/DEPLOY.md b/docs/DEPLOY.md index 3a99869..ab73dbe 100644 --- a/docs/DEPLOY.md +++ b/docs/DEPLOY.md @@ -14,35 +14,29 @@ > `config.yml` 与 `.env` 推荐交给 `scripts/init.sh` 生成(见第 0 节);不想用脚本的话也可以自己建(见第 2 节)。 -## 0. 一键生成配置并启动(推荐) +## 0. 一键生成配置(推荐) -`scripts/init.sh` 只读环境变量(不依赖任何外部文件),生成 `.env` 与 `config.yml`, -然后按顺序起 agent → mcp: +`scripts/init.sh` 只读环境变量(不依赖任何外部文件),生成 `.env` 与 `config.yml`: ```bash -# 什么都不给也能跑:用默认账号 admin/admin、自动探测公网 IP、无模型(platforms: []) +# 什么都不给也能跑:默认账号 admin/admin、无模型(platforms: []) ./scripts/init.sh # 给几个变量 -BIGMODEL_KEY=xxx DEEPSEEK_KEY=yyy PUBLIC_IP=1.2.3.4 ./scripts/init.sh - -# 只生成 .env / config.yml,不起容器(不装 Docker 的机器也能用) -UP=0 ./scripts/init.sh - -# mcp 仓库不在 ../mcp 时指定 -MCP_DIR=/path/to/mcp ./scripts/init.sh +BIGMODEL_KEY=xxx DEEPSEEK_KEY=yyy ZHIPU_KEY=zzz PUBLIC_IP=1.2.3.4 AUTH_USER=me ./scripts/init.sh ``` | 输入变量(均可选) | 说明 | |---|---| | `BIGMODEL_KEY` / `DEEPSEEK_KEY` / `QWEN_KEY` | 模型平台 key,**填几个启用几个**(0~3 个) | -| `ZHIPU_KEY` | image-gen / video-gen 用;**留空则这两个服务 `enable: false`**(工具不加载) | +| `ZHIPU_KEY` | image_gen / video_gen 用;**留空则这两个服务 `enable: false`**(工具不加载) | | `AUTH_USER` / `AUTH_PASSWORD` | 登录账号(默认 `admin`/`admin`,记得改) | -| `PUBLIC_IP` / `AGENT_PORT` | 对外地址与端口(`PUBLIC_IP` 空则尝试自动探测) | -| `LOG_LEVEL` | 日志级别(默认 `debug`;日常用 `info`) | -| `MCP_DIR` / `UP` | mcp 仓库位置(默认 `../mcp`)/ `UP=0` 只生成配置 | +| `PUBLIC_IP` / `AGENT_PORT` | 对外地址与端口,写进 `public_link.base_url`(`PUBLIC_IP` 空则尝试自动探测) | | `AUTH_SECRET` / `EXECUTOR_TOKEN` | 一般不用给:不给就自动生成,并**存在 `.env` 里复用**(所以重跑不会掉登录态) | +生成的 `config.yml` **只含 deploy 相关段**:`platforms` / `auth` / `mcp_servers` / `public_link`;其余配置项 +(路径、超时、`model_profiles` 等)走 `server/config.js` 的默认值,完整清单见 `app/config.example.yml`。 + ⚠️ **`config.yml` 是生成物,不要再手改**:每次生成都会把旧的备份成 `config.yml.bak.<时间戳>`。 要改配置请带环境变量重跑该脚本,或者不用脚本、按第 2 节手动维护。 @@ -78,28 +72,24 @@ vi .env # 填 EXECUTOR_TOKEN,生成:openssl rand -hex 32 vi config.yml ``` -`config.yml` 至少改这几处。**容器内必须写绝对路径**——core 与 executor 靠同一份 -`/workspace/tasks` 看到彼此的产物,留成示例里的相对路径(`./data/tasks`)会解析到 -`/app/data/tasks`,命令会因为不在 executor 白名单里而失败: +`config.example.yml` 与 `server/config.js` 的默认值一一对应,容器内可直接用(路径默认 +`/workspace/tasks`、`/workspace/data`)。`config.yml` 里至少要配: ```yaml -platforms: ... # 模型池:每个平台 url + keys.api_key -workspace_root: /workspace/tasks # 不能留示例里的 ./data/tasks -data_root: /workspace/data # SQLite 与 prompt dump 落在这个挂载卷里 -skills: - skills_root: /workspace/skills -public_link: # 需要给外部服务公网 URL 时才配(图生视频用);见第 4.1 节 - base_url: "http://<服务器IP>:8090" +platforms: ... # 模型池:每个平台 url + keys.api_key + models.id(必填,不能留空) auth: # 建议启用,否则谁都能访问 secret: "换一个随机串" users: - user: admin password: "换一个密码" mcp_servers: # 无域名时按容器名访问(模板已写好,按需启用) - - name: web-search + - name: web_search url: "http://mcp_web_search:3000/" ``` +> `public_link.base_url` 只在需要给外部服务公网 URL(图生视频取参考图)时才配;纯 IP:端口部署 +> 填 `"http://<服务器IP>:8090"`,容器 env 有 `VIRTUAL_HOST`(nginx-proxy)时以它为准(见第 4.1 节)。 + > ⚠️ 必须先有 `config.yml` 再 `up`:compose 挂载的是 `./config.yml:/app/config.yml`, > 文件不存在时 Docker 会在宿主机建一个同名**目录**,容器起来会读不到配置。 diff --git a/scripts/init.sh b/scripts/init.sh index 8da3726..fe68ca0 100755 --- a/scripts/init.sh +++ b/scripts/init.sh @@ -4,17 +4,19 @@ # 只读环境变量,不依赖任何外部文件;**全部可选**,什么都不给也能直接跑。 # # 用法: -# ./scripts/init.sh # 全用默认值(无模型、admin/admin、自动探测公网 IP) -# BIGMODEL_KEY=xxx PUBLIC_IP=1.2.3.4 ./scripts/init.sh # 给几个变量就行 +# ./scripts/init.sh # 全用默认值(无模型、admin/admin) +# BIGMODEL_KEY=xxx AUTH_USER=me ./scripts/init.sh # 给几个变量就行 # # 输入(都可选): # BIGMODEL_KEY / DEEPSEEK_KEY / QWEN_KEY 模型平台 key,填几个启用几个(0~3 个) -# ZHIPU_KEY image-gen / video-gen 的智谱 key(空 = 这两个服务 enable: false) +# ZHIPU_KEY image_gen / video_gen 的智谱 key(空 = 这两个服务 enable: false) # AUTH_USER / AUTH_PASSWORD 登录账号(默认 admin / admin,请自行改掉) -# PUBLIC_IP / AGENT_PORT 对外地址与端口(PUBLIC_IP 空则尝试自动探测) -# LOG_LEVEL 日志级别(调试 debug;日常用 info) +# PUBLIC_IP / AGENT_PORT 对外地址与端口,写进 public_link.base_url(PUBLIC_IP 空则尝试自动探测) # AUTH_SECRET / EXECUTOR_TOKEN 一般不用给:不给就自动生成并复用(见下) # +# config.yml 只写 deploy 相关的段:platforms / auth / mcp_servers / public_link; +# 其余配置项一律走 server/config.js 的 DEFAULTS(完整清单见 app/config.example.yml)。 +# # ⚠️ config.yml 是本脚本的生成物,不要手改(每次生成前会把旧的备份为 config.yml.bak.<时间戳>)。 set -euo pipefail @@ -35,16 +37,12 @@ AUTH_USER="${AUTH_USER:-admin}" AUTH_PASSWORD="${AUTH_PASSWORD:-admin}" PUBLIC_IP="${PUBLIC_IP:-}" AGENT_PORT="${AGENT_PORT:-8090}" -LOG_LEVEL="${LOG_LEVEL:-info}" EXECUTOR_TOKEN="${EXECUTOR_TOKEN:-}" AUTH_SECRET="${AUTH_SECRET:-}" -# 只用于日志里显示"配置从哪来",不影响行为 -CONFIG_SOURCE="${CONF:-环境变量}" log() { echo -e "\n\033[1;32m===== $* =====\033[0m"; } info() { echo -e "\033[1;36m[INFO]\033[0m $*"; } warn() { echo -e "\n\033[1;33m[WARN]\033[0m $*"; } -err() { echo -e "\033[1;31m[ERROR]\033[0m $*"; } gen_hex() { # $1 = 字节数(默认 32) local n="${1:-32}" @@ -93,7 +91,7 @@ if [ -z "$PUBLIC_IP" ]; then fi # ============================================================ -# 2. 生成 config.yml +# 2. 生成 config.yml(只写 platforms / auth / mcp_servers / public_link) # ============================================================ log "生成 $CONFIG_YML" @@ -111,7 +109,6 @@ emit_platform() { url: https://open.bigmodel.cn/api/paas/v4 keys: - api_key: "$2" - concurrency: 1 models: - id: glm-5.3-flash vision: true @@ -125,7 +122,6 @@ EOF url: https://api.deepseek.com keys: - api_key: "$2" - concurrency: 1 models: - id: deepseek-flash vision: true @@ -139,7 +135,6 @@ EOF url: https://dashscope.aliyuncs.com/compatible-mode/v1 keys: - api_key: "$2" - concurrency: 1 models: - id: qwen3.8-flash vision: true @@ -157,13 +152,13 @@ if [ -n "$QWEN_KEY" ]; then enabled_plats+=("qwen"); fi { echo "# 本文件由 scripts/init.sh 生成,请勿手改!" - echo "# 改配置请带环境变量重新运行该脚本(本文件会重新生成,旧的留 .bak)。" + echo "# 只含 deploy 相关段(platforms / auth / mcp_servers / public_link),其余走 server/config.js 默认值。" echo "# 生成时间: $(date '+%Y-%m-%d %H:%M:%S')" echo "# 已启用平台: ${enabled_plats[*]:-(无)}" echo if [ "${#enabled_plats[@]}" -eq 0 ]; then - echo "platforms: [] # 没有配置任何平台 key(BIGMODEL_KEY / DEEPSEEK_KEY / QWEN_KEY)" + echo "platforms: [] # 没有配置平台 key(BIGMODEL_KEY / DEEPSEEK_KEY / QWEN_KEY)" else echo "platforms:" if [ -n "$BIGMODEL_KEY" ]; then emit_platform bigmodel "$BIGMODEL_KEY"; fi @@ -173,67 +168,48 @@ if [ -n "$QWEN_KEY" ]; then enabled_plats+=("qwen"); fi echo cat < "$CONFIG_YML" -info "配置来源: $CONFIG_SOURCE" -info "平台: ${enabled_plats[*]:-无};智谱 MCP: $([ -n "$ZHIPU_KEY" ] && echo 启用 || echo 未配置)" +info "平台: ${enabled_plats[*]:-无};智谱 MCP: $([ -n "$ZHIPU_KEY" ] && echo 启用 || echo 未配置(enable: false))" # ============================================================ # 3. 汇总 @@ -244,7 +220,6 @@ echo " 访问地址 : http://${PUBLIC_IP:-<公网IP>}:${AGENT_PORT}" echo " 账号 : $AUTH_USER" echo " 密码 : $AUTH_PASSWORD" echo " 平台 : ${enabled_plats[*]:-(无)}" -echo " 智谱 MCP : $([ -n "$ZHIPU_KEY" ] && echo "image-gen / video-gen 已启用" || echo "未配置(enable: false)")" -echo " 日志级别 : $LOG_LEVEL" +echo " 智谱 MCP : $([ -n "$ZHIPU_KEY" ] && echo "image_gen / video_gen 已启用" || echo "未配置(enable: false)")" echo "---------------------------------------------" log "完成 ✅"