公网临时链接改为不透明短 ID(/p/<22字符>),不再暴露文件名/会话名/签名

- public-files.js(新): 内存表 id → (会话, 相对路径, 过期时间);mint 顺手清过期项并兜底上限
- routes/public-files.js(新): GET /p/<id> 匿名取用(查表 → resolveInTask 复核 → sendDownload),未命中/过期一律 404
- routes/public-link.js: 不再签 HMAC,改为 mint 短 ID,返回 http://<IP>:8090/p/<id>(约 50 字符、纯 ASCII)
  动因:原 URL 把文件名写了两遍再挂 64 位签名,共 300+ 字符;它会被模型抄进工具参数、并长期留在会话历史每轮重发
- download-send.js(新): 从 files.js 抽出 sendDownload/downloadDisposition,供浏览器下载与公网取用共用
- server.js: /p 挂在 auth.middleware 之前(匿名可达);浏览器下载那套签名链接保持不动
- docs: DEPLOY.md 4.1 / ARCHITECTURE.md(文件树、路由表、约束)/ README.md 同步
This commit is contained in:
2026-09-15 21:27:43 +08:00
parent e3d553c1af
commit 3f4ab51ea5
9 changed files with 170 additions and 55 deletions
+1 -1
View File
@@ -803,7 +803,7 @@ networks:
无域名/反代时,compose 直接把容器 8080 映射到宿主机 8090,浏览器访问 `http://<服务器IP>:8090`(端口可用 `.env` 的 `AGENT_PORT` 改)。网络 `my-app-network` 与 `mcp` 仓库的服务共用、由本仓库创建(无需手动 `docker network create`,但因此要**先起 agent 再起 mcp**):core 与 executor 都靠它按容器名访问 MCP。认证用应用内置的多用户登录(`config.yml` 的 `auth.users`,登录页 `/login`),多用户共享同一任务库,不做任务隔离。
**对外只开这一个端口**(executor 与 mcp 服务都不映射宿主机)。其中一条是反向入站:外部服务(如智谱)生成视频前要拉参考图,走的是 core 的**签名下载链接**——由 AI 在内网 `curl http://agent-core:8081/public-link?path=…` 现签(该签发端口不映射宿主机,所以不需要凭据),见 `docs/DEPLOY.md` 第 4.1 节。
**对外只开这一个端口**(executor 与 mcp 服务都不映射宿主机)。其中一条是反向入站:外部服务(如智谱)生成视频前要拉参考图,走的是 core 的匿名短链 `GET /p/<id>`——由 AI 在内网 `curl http://agent-core:8081/public-link?path=…` 现签(签发端口不映射宿主机,所以不需要凭据),见 `docs/DEPLOY.md` 第 4.1 节。
HTTP 直连时浏览器不认为这是“安全上下文”:PWA/Service Worker 不注册、`navigator.clipboard` 降级(前端已有回退),登录 cookie 无 `Secure` 标志可正常工作。日后若加 HTTPS 反代,**SSE 需关代理缓冲**(`proxy_buffering off`),详见 `docs/DEPLOY.md`。
+34
View File
@@ -0,0 +1,34 @@
// 单文件下载响应的公共实现:任务文件的浏览器下载(routes/files.js)与公网临时文件
// (routes/public-files.js)共用,避免两处各写一套文件名/缓存策略。
'use strict';
const path = require('path');
// Content-Disposition 手工构造,绕开 content-disposition 包的 ASCII 兜底:
// 该包会把中文名逐字替换成 ?(???.pdf),且 filename= 后紧跟 filename*= 会让
// 老 AOSP DownloadManager 的正则解析失败而改从 URL 猜名(download.pdf)。
// 这里传统 filename= 直接放百分号编码的 UTF-8:朴素解析器解码后能得到真名,
// 标准客户端照旧优先 filename*(RFC 5987)。
function downloadDisposition(name) {
const legacy = encodeURIComponent(name);
// RFC 5987 attr-char 不含 ' ( ) ! *,ext-value 里需额外编码
const ext = legacy.replace(/['()!*]/g, function (c) {
return '%' + c.charCodeAt(0).toString(16).toUpperCase();
});
return 'attachment; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
}
// 下载统一响应:禁用一切缓存协商。
// 默认的 ETag/Last-Modified + Cache-Control: public, max-age=0 会诱导移动端浏览器
// 先发条件请求拿 304 空体,下载管理器随后卡在“等待中”(桌面 Safari/curl 不受影响)。
// 不能用 res.download:它会用 content-disposition 包覆盖上面的文件名策略;
// res.sendFile 不设置 Content-Disposition,Content-Type 按扩展名自动出,Range 由 send 支持。
function sendDownload(res, abs) {
res.setHeader('Cache-Control', 'no-store, no-cache, must-revalidate');
res.setHeader('Pragma', 'no-cache');
res.setHeader('Expires', '0');
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
}
module.exports = { downloadDisposition, sendDownload };
+56
View File
@@ -0,0 +1,56 @@
// 公网临时文件:短 ID 能力链接。
//
// 为什么不用签名 URL:外部服务(如智谱)那一跳只需要「随机不可猜 + 会过期」,而签名 URL 必须把
// 会话名、文件名、过期时间、64 位签名全塞进 URL —— 又长又满是 %XX,模型抄进工具参数容易抄错,
// 而且这条 URL 会留在会话历史里每轮重发,白烧 token。这里只发一个 22 字符的随机 ID:
// http://<IP>:8090/p/9fQ2mZ7xK4tR1vBn
//
// 状态放本进程内存:重启即全部失效 —— 与签名方案语义一致(签名密钥本来就是进程内随机的),
// 所以不是退步,而是把「不可猜」从 HMAC 换成了随机 ID 本身。
//
// 边界:只有内网签发入口(routes/public-link.js,不映射宿主机)能 mint;
// 取用侧(routes/public-files.js)只按 ID 查表,查不到/过期一律 404。
'use strict';
const crypto = require('crypto');
const DEFAULT_TTL_MS = 30 * 60 * 1000;
const MAX_ENTRIES = 1000; // 兜底上限:内网签发,正常远达不到
const entries = new Map(); // id -> { sessionId, rel, expires }
function sweep(now) {
for (const [id, e] of entries) {
if (e.expires <= now) entries.delete(id);
}
}
function mint({ sessionId, rel, ttlMs }) {
const now = Date.now();
sweep(now);
while (entries.size >= MAX_ENTRIES) {
// 满了就丢最老的(Map 保持插入顺序)
entries.delete(entries.keys().next().value);
}
const id = crypto.randomBytes(16).toString('base64url'); // 22 字符,URL 安全
entries.set(id, {
sessionId,
rel,
expires: now + (Number.isFinite(ttlMs) && ttlMs > 0 ? ttlMs : DEFAULT_TTL_MS),
});
return id;
}
// 命中且未过期才返回 {sessionId, rel, expires};过期即顺手删掉
function resolve(id) {
const key = String(id || '');
const e = entries.get(key);
if (!e) return null;
if (e.expires <= Date.now()) {
entries.delete(key);
return null;
}
return e;
}
module.exports = { mint, resolve };
+2 -26
View File
@@ -117,32 +117,8 @@ router.get('/:id/files/download-token', function (req, res) {
}
});
// Content-Disposition 手工构造,绕开 content-disposition 包的 ASCII 兜底:
// 该包会把中文名逐字替换成 ?(???.pdf),且 filename= 后紧跟 filename*= 会让
// 老 AOSP DownloadManager 的正则解析失败而改从 URL 猜名(download.pdf)。
// 这里传统 filename= 直接放百分号编码的 UTF-8:朴素解析器解码后能得到真名,
// 标准客户端照旧优先 filename*(RFC 5987)。
function downloadDisposition(name) {
const legacy = encodeURIComponent(name);
// RFC 5987 attr-char 不含 ' ( ) ! *,ext-value 里需额外编码
const ext = legacy.replace(/['()!*]/g, function (c) {
return '%' + c.charCodeAt(0).toString(16).toUpperCase();
});
return 'attachment; filename="' + legacy + '"; filename*=UTF-8\'\'' + ext;
}
// 下载统一响应:禁用一切缓存协商。
// 默认的 ETag/Last-Modified + Cache-Control: public, max-age=0 会诱导移动端浏览器
// 先发条件请求拿 304 空体,下载管理器随后卡在“等待中”(桌面 Safari/curl 不受影响)。
// 不能用 res.download:它会用 content-disposition 包覆盖上面的文件名策略;
// res.sendFile 不设置 Content-Disposition,Content-Type 按扩展名自动出,Range 由 send 支持。
function sendDownload(res, abs) {
res.setHeader('Cache-Control', 'no-store, no-cache, must-revalidate');
res.setHeader('Pragma', 'no-cache');
res.setHeader('Expires', '0');
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
}
// Content-Disposition / 下载响应统一实现在 ../download-send.js(公网临时文件取用也用它)
const { downloadDisposition, sendDownload } = require('../download-send');
// 下载核心(支持子目录路径,前端用 ?path=xxx 传入相对路径)
function serveDownload(req, res) {
+38
View File
@@ -0,0 +1,38 @@
// 公网临时文件的取用端点:GET /p/<id>(id 由 routes/public-link.js 在内网现签)。
//
// 这一跳的访问者是**外部服务**(如智谱服务器来拉参考图),它不带 cookie、不带 Authorization,
// 所以必须匿名可达。安全性完全来自:
// 1. id 是 22 字符随机串(crypto.randomBytes(16) base64url),不可枚举;
// 2. 服务端按时过期(public_link.ttl_ms),过期即 404;
// 3. 只吐"签发时已校验过、且落在该会话任务目录内"的文件,这里再用 resolveInTask 复核一次。
//
// 挂在 auth.middleware **之前**(server.js),所以登录与否都能访问;未命中一律 404,不吐内部信息。
'use strict';
const fs = require('fs');
const express = require('express');
const engine = require('../engine');
const publicFiles = require('../public-files');
const { resolveInTask } = require('../tools/executor');
const { sendDownload } = require('../download-send');
const log = require('../log');
const router = express.Router();
router.get('/:id', function (req, res) {
const entry = publicFiles.resolve(req.params.id);
if (!entry) return res.status(404).type('text/plain').send('not found or expired\n');
let abs;
try {
abs = resolveInTask(engine.taskDirOf(entry.sessionId), entry.rel);
if (!fs.statSync(abs).isFile()) throw new Error('not a file');
} catch (_) {
return res.status(404).type('text/plain').send('not found\n');
}
log.info('public-file', entry.sessionId + ' 外部取用:' + entry.rel);
sendDownload(res, abs);
});
module.exports = router;
+10 -13
View File
@@ -2,9 +2,10 @@
//
// 用途:把任务目录里的文件变成一条短命的公网 URL,交给外部服务去取。第一个消费者是
// MCP video_gen:智谱服务器生成视频前要自己来拉参考图,它不带 cookie、不带 Authorization,
// 所以必须给它一条「不可猜 + 会过期」的链接 —— 这正是 files.js 一直在用的签名下载链接
// (auth.js 的 isSignedDownload 已放行带 ?t= 的 /files/download* 请求)。
// 这里解决的唯一问题:**沙箱里的 AI 怎么拿到一条签名**(签发接口要登录,executor 里没有凭据)。
// 所以必须给它一条「不可猜 + 会过期」的链接。
// 产出的形态是一个不透明短 ID(见 public-files.js 为什么不用签名 URL):
// http://<IP>:8090/p/9fQ2mZ7xK4tR1vBn
// 这解决的是:**沙箱里的 AI 怎么拿到一条公网链接**(签发接口要登录,executor 里没有凭据)。
//
// 为什么单独一个端口、且不映射到宿主机:
// 这条接口没法用凭据保护(AI 的命令带不了凭据),那就干脆让外部**连都连不上**。
@@ -12,8 +13,8 @@
//
// 边界(改这里务必保持):
// 1. 只接受绝对路径,且必须落在 workspace_root 内;再反查会话表确认会话真实存在。
// 2. 取 realpath 复核仍在任务根内:挡住"先 ln -s 一个外泄目标,再签它的链接"。
// 3. 只签"已存在且是文件"的路径;签出来的链接由 files.js 的 serveDownload 再验一遍。
// 2. 取 realpath 复核仍在任务根内:挡住“先 ln -s 一个外泄目标,再签它的链接”。
// 3. 只签“已存在且是文件”的路径;取用侧(routes/public-files.js)会再复核一次目录边界。
// 4. 返回 text/plain 而不是 JSON:AI 用 `curl -s` 拿到的 stdout 就是现成 URL,免解析。
'use strict';
@@ -21,7 +22,7 @@ const path = require('path');
const fs = require('fs');
const express = require('express');
const engine = require('../engine');
const { signDownload } = require('../download-token');
const publicFiles = require('../public-files');
const log = require('../log');
const router = express.Router();
@@ -62,14 +63,10 @@ router.get('/public-link', function (req, res) {
return bad(res, 400, 'path 经符号链接指向了任务根之外,拒绝签发');
}
const expires = Date.now() + pl.ttl_ms;
const t = signDownload(sid, fileRel, expires);
const url = pl.base_url + '/api/sessions/' + encodeURIComponent(sid)
+ '/files/download-name/' + encodeURIComponent(path.basename(fileRel))
+ '?path=' + encodeURIComponent(fileRel)
+ '&expires=' + expires + '&t=' + t;
const id = publicFiles.mint({ sessionId: sid, rel: fileRel, ttlMs: pl.ttl_ms });
const url = pl.base_url + '/p/' + id;
log.info('public-link', sid + ' 签发公网链接(' + Math.round(pl.ttl_ms / 60000) + ' 分钟):' + fileRel);
log.info('public-link', sid + ' 签发公网链接(' + Math.round(pl.ttl_ms / 60000) + ' 分钟):' + fileRel + ' → /p/' + id);
res.type('text/plain').send(url + '\n');
});
+5
View File
@@ -31,6 +31,11 @@ app.use(express.json({ limit: '2mb' }));
// 相比 nginx htpasswd 的 basic auth,cookie 在手机浏览器原生下载时也会自动携带,下载不再失败。
const auth = createAuth(cfg);
app.use(auth.router); // /login、/logout、/api/login 等免认证端点
// 公网临时文件的取用端点(GET /p/<id>):匿名可达,必须挂在 auth.middleware 之前。
// 安全性来自“22 字符随机 ID + 服务端过期”,详见 routes/public-files.js 头注释。
app.use('/p', require('./routes/public-files'));
app.use(auth.middleware); // 其余请求需登录态(cookie 或 Basic 头)
app.use(express.static(path.join(__dirname, 'public')));
+12 -7
View File
@@ -43,7 +43,9 @@ agent/
│ │ │ ├── definitions.json 内置 15 个工具的 OpenAI function 格式定义
│ │ │ ├── executor.js 工具执行器(文件类 + terminal + skill 委托)
│ │ │ └── skills.js Skill Manager(list/info/run + 依赖安装 + 路径预处理)
│ │ ├── download-token.js 临时链接签名(浏览器下载 / 公网链接共用一套)
│ │ ├── download-token.js 下载链接签名(浏览器原生下载用;密钥进程内随机)
│ │ ├── download-send.js 单文件下载响应(Content-Disposition / 缓存策略)
│ │ ├── public-files.js 公网临时文件短 ID 表(mint/resolve + 过期)
│ │ ├── routes/
│ │ │ ├── sessions.js /api/sessions CRUD + 列表分页
│ │ │ ├── messages.js /api/sessions/:id/messages + SSE 流 + stop/release
@@ -51,7 +53,8 @@ agent/
│ │ │ ├── config.js /api/config 读写(含 api_key/password 脱敏)
│ │ │ ├── platforms.js /api/platforms/balance 余额查询
│ │ │ ├── skills.js /api/skills 技能文件管理
│ │ │ ├── public-link.js GET /public-link 签发公网临时链接(只挂内网端口)
│ │ │ ├── public-link.js GET /public-link 签发公网短链(只挂内网端口)
│ │ │ ├── public-files.js GET /p/<id> 公网临时文件取用(匿名)
│ │ │ └── system.js /api/system/status + /restart 优雅重启
│ │ ├── templates/
│ │ │ └── system-prompt.txt system prompt 静态模板(每次请求复用,利于上游前缀缓存)
@@ -102,8 +105,8 @@ graph LR
Core -->|POST /chat/completions| LLM
Core -->|tools/call| MCP
MCP -->|提交任务| Zhipu
Exec -->|curl /public-link 现签链接| Core
Zhipu -->|匿名 GET 签名链接| Core
Exec -->|curl /public-link 现签短链| Core
Zhipu -->|匿名 GET /p/id| Core
Core <-->|读写| Tasks
Exec <-->|读写| Tasks
Core <-->|技能 + deps| Skills
@@ -113,15 +116,16 @@ graph LR
所有容器都在同一个 `my-app-network` 上(core 与 executor 同时靠它访问 MCP);外网只暴露 Core
(宿主机端口映射)。注意其中一条**反向**的入站链路:外部服务(如智谱)来拉文件时,走的是 Core 的
签名下载链接 `/api/sessions/:id/files/download-name/*?t=…`(链接由内网签发入口 `GET /public-link` 现签)。
`GET /p/<id>`(匿名,22 字符随机 ID + 服务端过期,见 `routes/public-files.js`);这个 id 由内网
签发入口 `GET /public-link` 现签,所以链接里既没有会话名也没有文件名。
**关键约束**(改 compose 时务必保持):
- 全部容器同一个网络 `my-app-network`(由本仓库 compose 创建,mcp 侧 external 加入)——core 与 executor 都靠它按容器名访问 MCP 服务(executor 还要靠它 curl core 的签发入口)。
- `agent-core` 与 `agent-executor` 须把**同一份宿主机 `./tasks`、`./skills`**挂到相同的容器路径(默认 `/workspace/tasks`、`/workspace/skills`)。这是文件工具在 Core 本地直接读、命令在远端写,二者能"看到"彼此产物的根本约定。
- **临时链接签名只有一份**(`download-token.js`):浏览器下载链接与 `routes/public-link.js` 给外部服务签的公网链接**必须是同一套**(密钥、报文形状、验签都共用)。两边写歪的后果是“签得出来、验不过去”,所以任何一边都不得自己拼 HMAC。
- **两条公网文件路径分工别搞混**:浏览器原生下载走 `download-token.js` 的签名链接(前端用 `download-token` 接口换 URL,`auth.js` 的 `isSignedDownload` 放行 `?t=`);外部服务取文件走 `GET /p/<id>` 短 ID。前者需要在 URL 末段带文件名(给安卓下载器猜名),后者刻意不带文件名/会话名。
- **`routes/public-link.js` 只挂在【不映射宿主机】的内网端口上**(`PUBLIC_LINK_PORT`,默认 8081):它不需要凭据(沙箱里的 AI 带不了凭据),所以安全性完全依赖“外部连不上这个端口”。**绝不要**把它挂到对外的 8080 上,也不要 publish 该端口。
- 该路由是 Core 上唯一“匿名可写入口”性质的东西(它能给任意**已知会话**的文件签发链接),所以路径必须经 `workspace_root` 前缀校验 + 会话表校验 + realpath 复核(挡 `ln -s` 外泄);未配 `public_link.base_url` 则不启动签发端口。
- `GET /p/<id>` 是 Core 上唯一的匿名读取入口:安全性 = 22 字符随机 ID + 服务端过期(`public-files.js` 的内存表)。它**必须挂在 `auth.middleware` 之前**,未命中/过期一律 404。签发侧仍要做路径校验(`workspace_root` 前缀 + 会话表 + realpath 复核,挡 `ln -s` 外泄);未配 `public_link.base_url` 则不启动签发端口。
- nginx-proxy 前置时**必须 `proxy_buffering off`**,否则 SSE 流被缓冲。详见 `docs/DEPLOY.md`。
- Core 通过环境变量 `EXECUTOR_URL` / `EXECUTOR_TOKEN` 注入 executor 端点(也可用 `config.yml` 的 `executor` 段覆盖)。**token 从 `.env` 读取**(compose 变量替换 `${EXECUTOR_TOKEN:?...}`,未设置直接报错,杜绝静默无鉴权);`.env` 已 gitignore,模板见 `.env.example`,生成:`openssl rand -hex 32`。
- Executor **拒绝来自容器自身(回环/本机网卡)的 `/exec`**:隔离只 unshare mount+pid,命令与 executor 同 net ns,能打到 `127.0.0.1:9000`;据此即使 token 泄漏也无法在会话内调用 `/exec` 越权读他人会话(core 在另一容器,不受影响)。本机集成测试用 `EXECUTOR_ALLOW_LOCAL_ORIGIN=1` 放行,生产不得设置。
@@ -402,6 +406,7 @@ stateDiagram-v2
| `/api/login` `/api/login_restore` `/api/logout` `/api/password` `/api/me` | `auth.js` | 认证路由(认证前) |
| `/login` `/logout` | `auth.js` | 登录/登出页 |
| `/files/download[-name/...]?t=` `/files/zip[-name/...]?t=` | `auth.js` 白名单 | 带签名 token 的下载/打包下载(认证中免 cookie) |
| `/p/<id>` | `routes/public-files.js` | 公网临时文件取用(匿名,挂认证中间件之前;随机 ID + 过期) |
**SSE 事件**(`/api/sessions/:id/stream`,由 `bus.emit` 触发,前端订阅):
+12 -8
View File
@@ -130,30 +130,34 @@ docker compose logs -f agent-core # 看到 "Agent server listening on 8080"
### 4.1 公网临时链接(只有“把本地文件交给外部服务”时才用到)
场景:图生视频时,智谱服务器生成视频前要**自己来拉参考图**,它不带 cookie、不带 `Authorization`,
所以必须有一条公网匿名可达的 URL。做法是复用登录下载那套签名链接(`app/server/download-token.js`):
不可猜(HMAC)、会过期、绑会话、进程重启即全部失效。
所以必须有一条公网匿名可达的 URL。做法是给一个**不透明短 ID**(`app/server/public-files.js`):
22 字符随机串,服务端内存表记着它对应哪个会话的哪个文件、什么时候过期。
AI 拿链接的姿势:core 额外在**内网**监听一个**不映射到宿主机**的端口(`PUBLIC_LINK_PORT`,默认 8081),
上面只有一条签发接口。因为压根没 publish,外部连不上,所以它**不需要任何凭据**:
```bash
# AI 在 executor 沙箱里执行(路径就是它平时看到的那个绝对路径)
curl -s "http://agent-core:8081/public-link?path=/workspace/tasks/<会话>/foo.png"
# → http://<服务器IP>:8090/api/sessions/<会话>/files/download-name/foo.png?path=foo.png&expires=…&t=…
# stdout 就是现成 URL,直接当 image_url 用
curl -s "http://agent-core:8081/public-link?path=/workspace/tasks/<会话>/_cgi-bin_..._d92292d.jpg"
# → http://124.221.199.237:8090/p/9fQ2mZ7xK4tR1vBn
# stdout 就是现成 URL(约 50 字符、纯 ASCII),直接当 image_url 用
```
```
智谱 ──匿名 GET──► /api/sessions/<会话>/files/download-name/…&t=… (core :8090)
│ 验签(会话 + 路径 + 时效)
智谱 ──匿名 GET──► /p/9fQ2mZ7xK4tR1vBn (core :8090)
│ 查内存表:未过期?→ 得到(会话, 相对路径)
▼
./tasks/<会话>/foo.png ← 文件仍在原地,零拷贝
```
> 为什么不做成“带签名的 URL”:那样必须把会话名、文件名、过期时间、64 位签名全塞进 URL(数百字符、
> 满是 `%XX`)。而这条 URL 会被模型抄进工具参数、并且**永久留在会话历史里每轮重发**,
> 太长又难抄,还白烧 token。短 ID 把三个问题一次解决了。
- 必须在 `config.yml` 配 `public_link.base_url = "http://<服务器IP>:8090"`;不配则不启动签发端口,
video_gen 的工具描述里也不会出现那条命令(它会退化成“请运维配 PUBLIC_LINK_URL”)。
- 链接有效期 `public_link.ttl_ms`,默认 30 分钟;签完尽快用掉。
- 沙箱外的人要用上这条链接,得同时知道 IP、路径和签名;签名猜不出来,过期即废。
- 沙箱外的人要用上这条链接,得拿到那个 22 字符随机 ID(猜不出来,也不可能枚举),且过期即废。
- 这条路不搬字节:文件始终在它原本的位置,也不需要 video_gen 参与上传/落盘。
## 5. 没有 HTTPS 的影响(可忽略,仅记录)