feat(local): 无公网前缀时链接回落回环地址;读图回传改内联 base64

This commit is contained in:
2026-11-11 19:29:44 +08:00
parent 0ec9aec93e
commit 10bf2f554b
5 changed files with 53 additions and 13 deletions
+32 -4
View File
@@ -664,6 +664,29 @@ function cleanTitle(raw) {
return t.slice(0, 60);
}
// 读图回传上游有两条取图路,取决于「谁能访问这个 URL」:
// - 服务器形态:签一条公网短链(/p/<id>),模型厂商的服务器来拉;
// - 本地形态:core 监听在回环地址,厂商拉不到 127.0.0.1,改为把压缩后的图内联成 data URL
// (llm.js 侧本来就接受这个形态——用户粘贴附件的 image_url 走的就是它)。
// 只认 AGENT_IMAGE_INLINE=1(local/start.sh 注入):服务器不设 → 完全走原路径。
const INLINE_IMAGE_MAX_BYTES = 1.5 * 1024 * 1024;
const INLINE_IMAGE_MIME = {
'.jpg': 'image/jpeg', '.jpeg': 'image/jpeg', '.png': 'image/png',
'.webp': 'image/webp', '.gif': 'image/gif',
};
function inlineImageDataUrl(abs) {
if (String(process.env.AGENT_IMAGE_INLINE || '') !== '1') return null;
const mime = INLINE_IMAGE_MIME[path.extname(abs).toLowerCase()];
if (!mime) return null;
try {
// 上限按原文件字节算(base64 约 1.34 倍):超限宁可不发——llm 侧会照旧降级成
// 「像素未送达」——也不把请求体顶爆(.imgcache 产物已压到长边 2000px,正常远低于上限)。
if (fs.statSync(abs).size > INLINE_IMAGE_MAX_BYTES) return null;
return 'data:' + mime + ';base64,' + fs.readFileSync(abs).toString('base64');
} catch (_) { return null; }
}
async function runLoopInner(sessionId, run) {
let iter = 0;
// 已纳入模型请求的最大消息 id;用于判断是否有尚未被回应的新 user 消息
@@ -680,16 +703,21 @@ async function runLoopInner(sessionId, run) {
// 且不传 tools,模型只能输出摘要文本。
// 发送前为历史里的 image_ref 块现签公网外链(GET /p/<id>,同 mint_public_link):
// 每次请求重签,回合内多轮迭代/重试永不过期;DB 只存几十字符的 rel,base64 不进库不进请求体。
// base_url 未配/校验不过/mint 异常时返回 null,buildMessages 降级为文字占位。
// base_url 未配/校验不过/mint 异常时返回 null,buildMessages 降级为文字占位;本地形态
// 没有公网前缀时改走内联 data URL(同见 inlineImageDataUrl),厂商拉不到回环地址。
// image_rel 可能是压缩无收益时直指的原文件:与 mint_public_link 同款 realpath 复核,
// 防任务目录里指向外部的符号链接图片被签上公网。
const mintImageUrl = (rel) => {
const pl = cfg.public_link || {};
if (!pl.base_url) return null;
let dir, real;
try {
const dir = taskDirOf(sessionId);
const real = fs.realpathSync(resolveInTask(dir, rel));
dir = taskDirOf(sessionId);
real = fs.realpathSync(resolveInTask(dir, rel));
if (real !== dir && !real.startsWith(dir + path.sep)) return null;
} catch (_) { return null; }
// 符号链接复核先做完再分叉:内联形态同样不能让任务目录外的图出去(见 inlineImageDataUrl)。
if (!pl.base_url) return inlineImageDataUrl(real);
try {
return pl.base_url + '/p/' + publicFiles.mint({ sessionId: sessionId, rel, ttlMs: pl.ttl_ms });
} catch (_) { return null; }
};
+6 -2
View File
@@ -1219,7 +1219,11 @@ function recordFile(ctx, abs) {
// 而 ctx.taskDir 就是会话目录,relOf 的结果正是取用侧(routes/public-files.js)要的 rel。
async function toolMintPublicLink(ctx, args) {
const pl = (ctx.cfg && ctx.cfg.public_link) || {};
if (!pl.base_url) throw new Error('public_link.base_url 未配置,无法签发公网链接');
// 本地桌面形态没有公网前缀,但用户就在这台机器上:回环地址签出来的链接照样点得开。
// 与 visit_url 的回落同源(都不写配置,靠 HOST 判断形态);容器/服务器形态 HOST 为空
// → localOrigin 返回 '' → 仍是原来那句报错,行为不变。
const base = String(pl.base_url || '').replace(/\/+$/, '') || localOrigin(ctx.cfg);
if (!base) throw new Error('public_link.base_url 未配置,无法签发公网链接');
const abs = resolveInTask(ctx.taskDir, args.path);
const rel = relOf(ctx.taskDir, abs);
if (rel === '.') throw new Error('path 要指向一个文件,不能是任务目录本身');
@@ -1233,7 +1237,7 @@ async function toolMintPublicLink(ctx, args) {
throw new Error('path 经符号链接指向了任务目录之外,拒绝签发');
}
const id = publicFiles.mint({ sessionId: ctx.sessionId, rel, ttlMs: pl.ttl_ms });
return pl.base_url + '/p/' + id;
return base + '/p/' + id;
}
// schedule:用户全部定时任务的生命周期(op 分派,规范见 docs/tool-design.md)。
+8 -5
View File
@@ -20,15 +20,17 @@
基线版本:`v2.5.0`(服务器端最后一个纯容器部署版本)。
## 2. 与服务器形态的差异(只有三处)
## 2. 与服务器形态的差异(只有五处)
| 差异 | 服务器 | 本地 | 由谁注入 |
|---|---|---|---|
| 命令在哪跑 | `agent-executor` 容器(mount/pid namespace 隔离) | 本机 `spawn`(**无沙箱**) | `EXECUTOR_URL` 留空 → 现成分支,未改代码 |
| 文件工具的根 | 会话目录 `tasks/<会话id>/` | 指定的工作目录 | `AGENT_FILE_SCOPE=workspace` |
| 监听地址 | `0.0.0.0` | `127.0.0.1` | `HOST=127.0.0.1` |
| 对外链接(`mint_public_link` / `visit_url`) | `public_link.base_url` 拼公网短链 | 没有公网前缀时改拼 `http://127.0.0.1:<PORT>/p/<id>` | 复用 `localOrigin()`,靠 `HOST` 判断形态,不写配置 |
| 读图回传给模型 | 签公网短链,上游服务器来拉 | 上游拉不到回环地址,改为内联 base64 `data:` URL | `AGENT_IMAGE_INLINE=1` |
后两项是本次新增的开关。**两者都不设置时,行为与 v2.5.0 完全一致**(容器部署不受影响)。
后四项是本次新增的开关。**四个都不设置时,行为与 v2.5.0 完全一致**(容器部署不受影响)。
## 3. 本次改动清单
@@ -37,7 +39,8 @@
| 文件 | 改动 |
|---|---|
| `app/server/server.js` | 读 `HOST` 环境变量;有值则 `server.listen(PORT, HOST, cb)`,无值维持 `listen(PORT, cb)`(= `0.0.0.0`)。启动日志带上 host |
| `app/server/tools/executor.js` | 新增 `WIDE_SCOPE`(由 `AGENT_FILE_SCOPE=workspace` 打开)与 `fsRoot(ctx)`;`resolveInTask()` 增加可选第三参 `rootDir`;6 个业务工具的调用点改为传 `fsRoot(ctx)`;`recordFile()` 跳过会话目录之外的文件 |
| `app/server/tools/executor.js` | 新增 `WIDE_SCOPE`(由 `AGENT_FILE_SCOPE=workspace` 打开)与 `fsRoot(ctx)`;`resolveInTask()` 增加可选第三参 `rootDir`;6 个业务工具的调用点改为传 `fsRoot(ctx)`;`recordFile()` 跳过会话目录之外的文件;`mint_public_link` 在没有 `public_link.base_url` 时改用 `localOrigin()`(回环地址) |
| `app/server/engine.js` | `mintImageUrl` 在没有 `public_link.base_url` 且 `AGENT_IMAGE_INLINE=1` 时,把待回传的图内联成 `data:` URL(先做同样的 realpath 越界复核;>1.5MB 仍降级) |
| `app/server/routes/files.js` | 新增 `GET /:id/tree`(桌面端左栏文件树用:单层懒加载、忽略大目录、上限 500、越界双重校验) |
`resolveInTask` 的两个分叉点:
@@ -50,7 +53,7 @@
- `resolvePastPath()`(`@<会话id>/...` 跨会话只读)—— 仍锁在对方会话目录
- `routes/public-files.js`、`routes/data-page.js` —— 公网短链与 data-page 仍按会话目录校验
- `mint_public_link` —— 仍会话目录语义(本地本来也没配 `public_link.base_url`)
- `mint_public_link` —— 路径校验仍是会话目录语义;只是没有公网前缀时改用回环地址签发(见 §2)
- 前端 —— 本地模式没有专属前端代码;左栏文件树是桌面端共用的(见下)
> 追加:文件树最初只给 local 用,后来上收为桌面端通用能力 —— `/tree` 移到 `routes/files.js`,
@@ -373,7 +376,7 @@ tail -f local/.runtime/core.log # 以及 npm-install.log / mcp-*.log
| 没 ffmpeg 时 asr 会报「工具发现失败」 | 此时 `mcp_asr` 不启动(它转码依赖 ffmpeg),但配置里的 asr 条目仍在(配置不覆盖),所以 core 启动会 warn 一次并重试,属预期 |
| `mcp_asr` 监听 `0.0.0.0` | 它只认 `PORT` 环境变量、`listen` 不带 host(已启动时才是问题)。不存密钥(上游参数随请求带入),暴露面有限;要收紧需给 `mcp/asr` 加 `--host` 支持 |
| Windows 不支持 | `spawn('/bin/sh')`、`process.kill(-pid)`、模型写的 bash 语法都是 POSIX 语义 |
| `mint_public_link` 不可用 | 本地 `public_link.base_url` 为空,工具会回明确的「未配置」错误 |
| 链接只在本机可达 | 本地没有公网前缀:`mint_public_link` / 页面访问地址都签成 `http://127.0.0.1:<PORT>/...`,只能在这台机器上打开(这正是本地形态的预期)。要真正对外暴露才需在设置页填 `public_link.base_url` |
| 技能依赖 | 本地不预装:缺包时模型会把包装进 `skills/deps`(`$AGENT_SKILLS_DEPS`,已在该进程 `PYTHONPATH` 里,装完下次运行即生效);连 `python3` 都没有时也由它自己装。怎么装由模型自己决定。需要系统库的包(`weasyprint`→pango/cairo)pip 装不了,仍需手工 `brew install`。服务器上由 `agent-executor-init` 处理 |
| `office` 二进制 | 不入库、也不预装:首次用到时报 `binary missing` 并给出该技能 `AGENTS.md` 的绝对路径,模型按它自己下载(`releases/latest`,~34MB,GitHub 慢就用 gh-proxy)。不需要 root、不需重启。officecli 会自更新到 latest,版本比服务器 pin 的新属正常 |
| `office` 预览 | 预览卡片走 core → executor 的 `:3100` 网关,本地没有这个网关 → 点开打不开。文档创建/编辑/读取不受影响 |
+4 -2
View File
@@ -138,8 +138,10 @@ git pull
(另外三个服务都传了 `--host 127.0.0.1`)。它不存任何密钥(上游参数随请求带入),
暴露面有限,但严格起见可以给 `mcp/asr` 补一个 `--host` 支持。
- **Windows 暂不支持**:本机执行走 `spawn('/bin/sh')` 与 `process.kill(-pid)`,都是 POSIX 语义。
- **`mint_public_link` 不可用**:`public_link.base_url` 未配置(本地生成的链接只有本机能打开),
模型调用该工具会得到明确的「未配置」错误。
- **链接只在本机可达**:没有公网前缀时,`mint_public_link` 与页面访问地址都会签成
`http://127.0.0.1:<PORT>/...`,在这台机器上点得开,发给别人打不开。要对外暴露再填
`public_link.base_url`(设置页)。本地监听回环地址,模型厂商也拉不到,所以读图回传改走内联
base64(`AGENT_IMAGE_INLINE=1`,启动器已注入)。
- **`office` 文档没有预览**:预览卡片走 core → executor 的 `:3100` 网关,本地没有这个网关,
点开得不到可用页面;文档本身的创建/编辑/读取完全正常。
- **技能依赖不预装**:本地没有 `agent-executor-init`,`skills/*/requirements.txt` 不会在启动时
+3
View File
@@ -822,12 +822,15 @@ start_core() {
# 的 PYTHONPATH 对齐,那边由 compose 注入)。本地没有 agent-executor-init 替我们装包,
# 所以另外把目录路径作为 AGENT_SKILLS_DEPS 传下去:技能缺什么时,模型按该技能目录的
# AGENTS.md 自行安装(提示词里只给这一句指路),启动器不认识任何具体技能。
# AGENT_IMAGE_INLINE:本机监听 127.0.0.1,模型厂商拉不到回环地址,读图回传改走内联
# data URL(服务器形态不设,照旧签 /p/<id> 短链)。
( cd "$ROOT/app" && exec env \
PORT="$PORT" \
HOST="$HOST_ADDR" \
AGENT_CONFIG="$CONFIG" \
AGENT_FILE_SCOPE=workspace \
AGENT_LOCAL_PICK=1 \
AGENT_IMAGE_INLINE=1 \
ASR_URL="$ASR_URL" \
PYTHONPATH="$ROOT/skills/deps" \
AGENT_SKILLS_DEPS="$ROOT/skills/deps" \