From 10bf2f554b23ae66856a480355f286cc605d19e9 Mon Sep 17 00:00:00 2001 From: kicer Date: Wed, 11 Nov 2026 19:29:44 +0800 Subject: [PATCH] =?UTF-8?q?feat(local):=20=E6=97=A0=E5=85=AC=E7=BD=91?= =?UTF-8?q?=E5=89=8D=E7=BC=80=E6=97=B6=E9=93=BE=E6=8E=A5=E5=9B=9E=E8=90=BD?= =?UTF-8?q?=E5=9B=9E=E7=8E=AF=E5=9C=B0=E5=9D=80=EF=BC=9B=E8=AF=BB=E5=9B=BE?= =?UTF-8?q?=E5=9B=9E=E4=BC=A0=E6=94=B9=E5=86=85=E8=81=94=20base64?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/server/engine.js | 36 ++++++++++++++++++++++++++++++++---- app/server/tools/executor.js | 8 ++++++-- docs/local-mode.md | 13 ++++++++----- local/README.md | 6 ++++-- local/start.sh | 3 +++ 5 files changed, 53 insertions(+), 13 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index d6bf4b2..d097c5f 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -664,6 +664,29 @@ function cleanTitle(raw) { return t.slice(0, 60); } +// 读图回传上游有两条取图路,取决于「谁能访问这个 URL」: +// - 服务器形态:签一条公网短链(/p/),模型厂商的服务器来拉; +// - 本地形态:core 监听在回环地址,厂商拉不到 127.0.0.1,改为把压缩后的图内联成 data URL +// (llm.js 侧本来就接受这个形态——用户粘贴附件的 image_url 走的就是它)。 +// 只认 AGENT_IMAGE_INLINE=1(local/start.sh 注入):服务器不设 → 完全走原路径。 +const INLINE_IMAGE_MAX_BYTES = 1.5 * 1024 * 1024; +const INLINE_IMAGE_MIME = { + '.jpg': 'image/jpeg', '.jpeg': 'image/jpeg', '.png': 'image/png', + '.webp': 'image/webp', '.gif': 'image/gif', +}; + +function inlineImageDataUrl(abs) { + if (String(process.env.AGENT_IMAGE_INLINE || '') !== '1') return null; + const mime = INLINE_IMAGE_MIME[path.extname(abs).toLowerCase()]; + if (!mime) return null; + try { + // 上限按原文件字节算(base64 约 1.34 倍):超限宁可不发——llm 侧会照旧降级成 + // 「像素未送达」——也不把请求体顶爆(.imgcache 产物已压到长边 2000px,正常远低于上限)。 + if (fs.statSync(abs).size > INLINE_IMAGE_MAX_BYTES) return null; + return 'data:' + mime + ';base64,' + fs.readFileSync(abs).toString('base64'); + } catch (_) { return null; } +} + async function runLoopInner(sessionId, run) { let iter = 0; // 已纳入模型请求的最大消息 id;用于判断是否有尚未被回应的新 user 消息 @@ -680,16 +703,21 @@ async function runLoopInner(sessionId, run) { // 且不传 tools,模型只能输出摘要文本。 // 发送前为历史里的 image_ref 块现签公网外链(GET /p/,同 mint_public_link): // 每次请求重签,回合内多轮迭代/重试永不过期;DB 只存几十字符的 rel,base64 不进库不进请求体。 - // base_url 未配/校验不过/mint 异常时返回 null,buildMessages 降级为文字占位。 + // base_url 未配/校验不过/mint 异常时返回 null,buildMessages 降级为文字占位;本地形态 + // 没有公网前缀时改走内联 data URL(同见 inlineImageDataUrl),厂商拉不到回环地址。 // image_rel 可能是压缩无收益时直指的原文件:与 mint_public_link 同款 realpath 复核, // 防任务目录里指向外部的符号链接图片被签上公网。 const mintImageUrl = (rel) => { const pl = cfg.public_link || {}; - if (!pl.base_url) return null; + let dir, real; try { - const dir = taskDirOf(sessionId); - const real = fs.realpathSync(resolveInTask(dir, rel)); + dir = taskDirOf(sessionId); + real = fs.realpathSync(resolveInTask(dir, rel)); if (real !== dir && !real.startsWith(dir + path.sep)) return null; + } catch (_) { return null; } + // 符号链接复核先做完再分叉:内联形态同样不能让任务目录外的图出去(见 inlineImageDataUrl)。 + if (!pl.base_url) return inlineImageDataUrl(real); + try { return pl.base_url + '/p/' + publicFiles.mint({ sessionId: sessionId, rel, ttlMs: pl.ttl_ms }); } catch (_) { return null; } }; diff --git a/app/server/tools/executor.js b/app/server/tools/executor.js index 5c1fc2c..123da0e 100644 --- a/app/server/tools/executor.js +++ b/app/server/tools/executor.js @@ -1219,7 +1219,11 @@ function recordFile(ctx, abs) { // 而 ctx.taskDir 就是会话目录,relOf 的结果正是取用侧(routes/public-files.js)要的 rel。 async function toolMintPublicLink(ctx, args) { const pl = (ctx.cfg && ctx.cfg.public_link) || {}; - if (!pl.base_url) throw new Error('public_link.base_url 未配置,无法签发公网链接'); + // 本地桌面形态没有公网前缀,但用户就在这台机器上:回环地址签出来的链接照样点得开。 + // 与 visit_url 的回落同源(都不写配置,靠 HOST 判断形态);容器/服务器形态 HOST 为空 + // → localOrigin 返回 '' → 仍是原来那句报错,行为不变。 + const base = String(pl.base_url || '').replace(/\/+$/, '') || localOrigin(ctx.cfg); + if (!base) throw new Error('public_link.base_url 未配置,无法签发公网链接'); const abs = resolveInTask(ctx.taskDir, args.path); const rel = relOf(ctx.taskDir, abs); if (rel === '.') throw new Error('path 要指向一个文件,不能是任务目录本身'); @@ -1233,7 +1237,7 @@ async function toolMintPublicLink(ctx, args) { throw new Error('path 经符号链接指向了任务目录之外,拒绝签发'); } const id = publicFiles.mint({ sessionId: ctx.sessionId, rel, ttlMs: pl.ttl_ms }); - return pl.base_url + '/p/' + id; + return base + '/p/' + id; } // schedule:用户全部定时任务的生命周期(op 分派,规范见 docs/tool-design.md)。 diff --git a/docs/local-mode.md b/docs/local-mode.md index 8f17ec3..e6a60ae 100644 --- a/docs/local-mode.md +++ b/docs/local-mode.md @@ -20,15 +20,17 @@ 基线版本:`v2.5.0`(服务器端最后一个纯容器部署版本)。 -## 2. 与服务器形态的差异(只有三处) +## 2. 与服务器形态的差异(只有五处) | 差异 | 服务器 | 本地 | 由谁注入 | |---|---|---|---| | 命令在哪跑 | `agent-executor` 容器(mount/pid namespace 隔离) | 本机 `spawn`(**无沙箱**) | `EXECUTOR_URL` 留空 → 现成分支,未改代码 | | 文件工具的根 | 会话目录 `tasks/<会话id>/` | 指定的工作目录 | `AGENT_FILE_SCOPE=workspace` | | 监听地址 | `0.0.0.0` | `127.0.0.1` | `HOST=127.0.0.1` | +| 对外链接(`mint_public_link` / `visit_url`) | `public_link.base_url` 拼公网短链 | 没有公网前缀时改拼 `http://127.0.0.1:/p/` | 复用 `localOrigin()`,靠 `HOST` 判断形态,不写配置 | +| 读图回传给模型 | 签公网短链,上游服务器来拉 | 上游拉不到回环地址,改为内联 base64 `data:` URL | `AGENT_IMAGE_INLINE=1` | -后两项是本次新增的开关。**两者都不设置时,行为与 v2.5.0 完全一致**(容器部署不受影响)。 +后四项是本次新增的开关。**四个都不设置时,行为与 v2.5.0 完全一致**(容器部署不受影响)。 ## 3. 本次改动清单 @@ -37,7 +39,8 @@ | 文件 | 改动 | |---|---| | `app/server/server.js` | 读 `HOST` 环境变量;有值则 `server.listen(PORT, HOST, cb)`,无值维持 `listen(PORT, cb)`(= `0.0.0.0`)。启动日志带上 host | -| `app/server/tools/executor.js` | 新增 `WIDE_SCOPE`(由 `AGENT_FILE_SCOPE=workspace` 打开)与 `fsRoot(ctx)`;`resolveInTask()` 增加可选第三参 `rootDir`;6 个业务工具的调用点改为传 `fsRoot(ctx)`;`recordFile()` 跳过会话目录之外的文件 | +| `app/server/tools/executor.js` | 新增 `WIDE_SCOPE`(由 `AGENT_FILE_SCOPE=workspace` 打开)与 `fsRoot(ctx)`;`resolveInTask()` 增加可选第三参 `rootDir`;6 个业务工具的调用点改为传 `fsRoot(ctx)`;`recordFile()` 跳过会话目录之外的文件;`mint_public_link` 在没有 `public_link.base_url` 时改用 `localOrigin()`(回环地址) | +| `app/server/engine.js` | `mintImageUrl` 在没有 `public_link.base_url` 且 `AGENT_IMAGE_INLINE=1` 时,把待回传的图内联成 `data:` URL(先做同样的 realpath 越界复核;>1.5MB 仍降级) | | `app/server/routes/files.js` | 新增 `GET /:id/tree`(桌面端左栏文件树用:单层懒加载、忽略大目录、上限 500、越界双重校验) | `resolveInTask` 的两个分叉点: @@ -50,7 +53,7 @@ - `resolvePastPath()`(`@<会话id>/...` 跨会话只读)—— 仍锁在对方会话目录 - `routes/public-files.js`、`routes/data-page.js` —— 公网短链与 data-page 仍按会话目录校验 -- `mint_public_link` —— 仍会话目录语义(本地本来也没配 `public_link.base_url`) +- `mint_public_link` —— 路径校验仍是会话目录语义;只是没有公网前缀时改用回环地址签发(见 §2) - 前端 —— 本地模式没有专属前端代码;左栏文件树是桌面端共用的(见下) > 追加:文件树最初只给 local 用,后来上收为桌面端通用能力 —— `/tree` 移到 `routes/files.js`, @@ -373,7 +376,7 @@ tail -f local/.runtime/core.log # 以及 npm-install.log / mcp-*.log | 没 ffmpeg 时 asr 会报「工具发现失败」 | 此时 `mcp_asr` 不启动(它转码依赖 ffmpeg),但配置里的 asr 条目仍在(配置不覆盖),所以 core 启动会 warn 一次并重试,属预期 | | `mcp_asr` 监听 `0.0.0.0` | 它只认 `PORT` 环境变量、`listen` 不带 host(已启动时才是问题)。不存密钥(上游参数随请求带入),暴露面有限;要收紧需给 `mcp/asr` 加 `--host` 支持 | | Windows 不支持 | `spawn('/bin/sh')`、`process.kill(-pid)`、模型写的 bash 语法都是 POSIX 语义 | -| `mint_public_link` 不可用 | 本地 `public_link.base_url` 为空,工具会回明确的「未配置」错误 | +| 链接只在本机可达 | 本地没有公网前缀:`mint_public_link` / 页面访问地址都签成 `http://127.0.0.1:/...`,只能在这台机器上打开(这正是本地形态的预期)。要真正对外暴露才需在设置页填 `public_link.base_url` | | 技能依赖 | 本地不预装:缺包时模型会把包装进 `skills/deps`(`$AGENT_SKILLS_DEPS`,已在该进程 `PYTHONPATH` 里,装完下次运行即生效);连 `python3` 都没有时也由它自己装。怎么装由模型自己决定。需要系统库的包(`weasyprint`→pango/cairo)pip 装不了,仍需手工 `brew install`。服务器上由 `agent-executor-init` 处理 | | `office` 二进制 | 不入库、也不预装:首次用到时报 `binary missing` 并给出该技能 `AGENTS.md` 的绝对路径,模型按它自己下载(`releases/latest`,~34MB,GitHub 慢就用 gh-proxy)。不需要 root、不需重启。officecli 会自更新到 latest,版本比服务器 pin 的新属正常 | | `office` 预览 | 预览卡片走 core → executor 的 `:3100` 网关,本地没有这个网关 → 点开打不开。文档创建/编辑/读取不受影响 | diff --git a/local/README.md b/local/README.md index 33d00c9..11f1e6b 100644 --- a/local/README.md +++ b/local/README.md @@ -138,8 +138,10 @@ git pull (另外三个服务都传了 `--host 127.0.0.1`)。它不存任何密钥(上游参数随请求带入), 暴露面有限,但严格起见可以给 `mcp/asr` 补一个 `--host` 支持。 - **Windows 暂不支持**:本机执行走 `spawn('/bin/sh')` 与 `process.kill(-pid)`,都是 POSIX 语义。 -- **`mint_public_link` 不可用**:`public_link.base_url` 未配置(本地生成的链接只有本机能打开), - 模型调用该工具会得到明确的「未配置」错误。 +- **链接只在本机可达**:没有公网前缀时,`mint_public_link` 与页面访问地址都会签成 + `http://127.0.0.1:/...`,在这台机器上点得开,发给别人打不开。要对外暴露再填 + `public_link.base_url`(设置页)。本地监听回环地址,模型厂商也拉不到,所以读图回传改走内联 + base64(`AGENT_IMAGE_INLINE=1`,启动器已注入)。 - **`office` 文档没有预览**:预览卡片走 core → executor 的 `:3100` 网关,本地没有这个网关, 点开得不到可用页面;文档本身的创建/编辑/读取完全正常。 - **技能依赖不预装**:本地没有 `agent-executor-init`,`skills/*/requirements.txt` 不会在启动时 diff --git a/local/start.sh b/local/start.sh index 32f8499..46ba9a1 100755 --- a/local/start.sh +++ b/local/start.sh @@ -822,12 +822,15 @@ start_core() { # 的 PYTHONPATH 对齐,那边由 compose 注入)。本地没有 agent-executor-init 替我们装包, # 所以另外把目录路径作为 AGENT_SKILLS_DEPS 传下去:技能缺什么时,模型按该技能目录的 # AGENTS.md 自行安装(提示词里只给这一句指路),启动器不认识任何具体技能。 + # AGENT_IMAGE_INLINE:本机监听 127.0.0.1,模型厂商拉不到回环地址,读图回传改走内联 + # data URL(服务器形态不设,照旧签 /p/ 短链)。 ( cd "$ROOT/app" && exec env \ PORT="$PORT" \ HOST="$HOST_ADDR" \ AGENT_CONFIG="$CONFIG" \ AGENT_FILE_SCOPE=workspace \ AGENT_LOCAL_PICK=1 \ + AGENT_IMAGE_INLINE=1 \ ASR_URL="$ASR_URL" \ PYTHONPATH="$ROOT/skills/deps" \ AGENT_SKILLS_DEPS="$ROOT/skills/deps" \