From a2ea5baf770b5a7ea6c0b58d0d52ea7804bfd91e Mon Sep 17 00:00:00 2001 From: kicer Date: Sun, 6 Sep 2026 10:19:49 +0800 Subject: [PATCH] =?UTF-8?q?agent-executor=20per-task=20=E6=8C=82=E8=BD=BD?= =?UTF-8?q?=E9=9A=94=E7=A6=BB=EF=BC=9A=E4=BB=BB=E5=8A=A1=E6=A0=B9=E4=B8=8B?= =?UTF-8?q?=E7=9A=84=E5=91=BD=E4=BB=A4=20spawn=20=E5=89=8D=E5=8C=85?= =?UTF-8?q?=E4=B8=80=E5=B1=82=20unshare=20--mount=20wrapper=EF=BC=88isolat?= =?UTF-8?q?edCommand=EF=BC=89=EF=BC=8C=E5=85=88=20bind=20=E4=BC=9A?= =?UTF-8?q?=E8=AF=9D=E6=A0=B9=E5=88=B0=20/tmp=20anchor=EF=BC=8C=E5=86=8D?= =?UTF-8?q?=E6=8A=8A=E4=BB=BB=E5=8A=A1=E6=A0=B9=E8=A6=86=E7=9B=96=E4=B8=BA?= =?UTF-8?q?=20tmpfs=E3=80=81=E4=BB=85=E6=8A=8A=E5=BD=93=E5=89=8D=E4=BC=9A?= =?UTF-8?q?=E8=AF=9D=E6=A0=B9=20bind=20=E5=9B=9E=E5=8E=9F=E8=B7=AF?= =?UTF-8?q?=E5=BE=84=E2=80=94=E2=80=94AI=20=E5=91=BD=E4=BB=A4=E5=8F=AA?= =?UTF-8?q?=E8=83=BD=E8=AF=BB=E5=86=99=E8=87=AA=E5=B7=B1=E4=BC=9A=E8=AF=9D?= =?UTF-8?q?=EF=BC=8C=E7=9C=8B=E4=B8=8D=E5=88=B0=E5=88=AB=E4=BA=BA=E7=9A=84?= =?UTF-8?q?=20task=20=E7=9B=AE=E5=BD=95=EF=BC=9B=E6=B7=B1=E5=B1=82?= =?UTF-8?q?=E5=AD=90=E7=9B=AE=E5=BD=95=E9=9A=8F=20bind=20=E8=87=AA?= =?UTF-8?q?=E7=84=B6=E4=BF=9D=E7=95=99=EF=BC=88terminal=20=E7=9A=84=20cd?= =?UTF-8?q?=20=E4=B8=8D=E6=96=AD=EF=BC=89=EF=BC=8Cmount=20ns=20=E9=9A=8F?= =?UTF-8?q?=E8=BF=9B=E7=A8=8B=E9=80=80=E5=87=BA=E9=94=80=E6=AF=81=E3=80=82?= =?UTF-8?q?cwd=20=E6=81=B0=E5=9C=A8=E4=BB=BB=E5=8A=A1=E6=A0=B9=E6=88=96?= =?UTF-8?q?=E5=85=B6=E5=A4=96=EF=BC=88skill=20=E5=85=A5=E5=8F=A3=E7=AD=89?= =?UTF-8?q?=EF=BC=89=E4=B8=8D=E9=9A=94=E7=A6=BB=E7=9B=B4=E6=8E=A5=20spawn?= =?UTF-8?q?=EF=BC=9Bcore=20=E4=BE=A7=20terminal=20=E7=9A=84=20cwd=20?= =?UTF-8?q?=E6=81=92=E4=B8=BA=20taskDir=20=E4=B8=94=20cd=20=E8=A2=AB=20res?= =?UTF-8?q?olveInTask=20=E9=92=B3=E4=BD=8F=EF=BC=8CAI=20=E6=97=A0=E6=B3=95?= =?UTF-8?q?=E6=8A=8A=20cwd=20=E6=8C=AA=E5=87=BA=E4=BB=BB=E5=8A=A1=E6=A0=B9?= =?UTF-8?q?=E7=BB=95=E5=BC=80=E9=9A=94=E7=A6=BB=E3=80=82compose=20?= =?UTF-8?q?=E7=A7=BB=E9=99=A4=20cap=5Fdrop=20=E6=94=B9=20privileged:=20tru?= =?UTF-8?q?e=EF=BC=88=E9=BB=98=E8=AE=A4=20seccomp/apparmor=20=E6=8B=A6=20u?= =?UTF-8?q?nshare/mount=EF=BC=89=EF=BC=8Ccgroup=20=E8=B5=84=E6=BA=90?= =?UTF-8?q?=E6=8A=A4=E6=A0=8F=E4=B8=8D=E5=8F=98=EF=BC=8C=E5=AE=B9=E5=99=A8?= =?UTF-8?q?=E4=BB=8D=E4=BB=85=E5=86=85=E7=BD=91=20expose=209000=E3=80=82sm?= =?UTF-8?q?oke=20=E6=96=B0=E5=A2=9E=E9=9A=94=E7=A6=BB=E4=B8=89=E7=94=A8?= =?UTF-8?q?=E4=BE=8B=EF=BC=88=E6=97=A0=20mount=20=E6=9D=83=E9=99=90?= =?UTF-8?q?=E8=87=AA=E5=8A=A8=20SKIP=EF=BC=89=EF=BC=8C=E5=B9=B6=E4=BF=AE?= =?UTF-8?q?=E4=B8=A4=E5=A4=84=E6=96=AD=E8=A8=80=E8=AF=AF=E5=88=A4=EF=BC=9A?= =?UTF-8?q?cat=20=E6=88=90=E5=8A=9F=E5=8F=AA=E5=9B=9E=E6=98=BE=E5=86=85?= =?UTF-8?q?=E5=AE=B9=E4=B8=8D=E5=90=AB=E6=96=87=E4=BB=B6=E5=90=8D=EF=BC=9B?= =?UTF-8?q?cd=20=E5=A4=B1=E8=B4=A5=E4=BF=A1=E6=81=AF=E5=90=AB=E5=85=84?= =?UTF-8?q?=E5=BC=9F=E7=9B=AE=E5=BD=95=E5=90=8D=E6=B1=A1=E6=9F=93=20ls=20?= =?UTF-8?q?=E6=AE=B5=E6=96=AD=E8=A8=80=EF=BC=8C=E6=94=B9=E5=88=86=E9=9A=94?= =?UTF-8?q?=E7=AC=A6=E5=88=87=E6=AE=B5=20+=20leaked/blocked=20=E6=A0=87?= =?UTF-8?q?=E8=AE=B0=EF=BC=8C16/16=20=E5=85=A8=E8=BF=87=E3=80=82compose=20?= =?UTF-8?q?=E6=B3=A8=E9=87=8A=E9=94=99=E5=88=AB=E5=AD=97=E5=85=91=E4=BD=8F?= =?UTF-8?q?=E2=86=92=E5=85=9C=E4=BD=8F=EF=BC=9BARCHITECTURE.md=20=C2=A76?= =?UTF-8?q?=20=E5=90=8C=E6=AD=A5=E9=9A=94=E7=A6=BB=E4=B8=8E=20privileged?= =?UTF-8?q?=20=E8=AF=B4=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docker-compose.yml | 14 ++++++++------ docs/ARCHITECTURE.md | 2 ++ executor/server.js | 44 +++++++++++++++++++++++++++++++++++++++++- executor/smoke-test.js | 39 ++++++++++++++++++++++++++++++++++--- 4 files changed, 89 insertions(+), 10 deletions(-) diff --git a/docker-compose.yml b/docker-compose.yml index 3d19d21..c4ccf56 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -41,21 +41,23 @@ services: # 日志等级:debug|info|warn|error|none(默认 info); # debug 会把与 core 的完整交互打印出来(请求、/exec 请求体、每条 SSE 帧、JSON 响应): - EXECUTOR_LOG_LEVEL=info - # ---- 资源限制:兜住 AI 失控命令(烧 CPU / 吃内存 / fork 炸弹 / 写盘撞满宿主机磁盘)---- - # 均作用于容器整体及命令派生的全部子进程(cgroup/ulimit 随 fork 继承),改后 docker compose up -d 重建生效: + # 资源限制:兜住 AI 失控命令(烧 CPU / 吃内存 / fork 炸弹 / 写盘撞满宿主机磁盘)。cgroup/ulimit 随 fork 继承。 + # 这些是性能/容量护栏,不限制可调用的 syscall:apt-get install、fuse 装载等仍需 privileged: true 放开。 cpus: "2.0" # 容器整体最多用 2 核(超出限流不杀进程),按宿主机核数调整 mem_limit: 2g # 内存失控 → 容器被 OOM kill(restart 策略自动拉起,代价是该容器内所有在执行命令随容器重启丢失) pids_limit: 512 # 进程+线程总数上限,防 fork 炸弹耗尽宿主机进程表 ulimits: # 单文件最大 2G(字节,RLIMIT_FSIZE):dd/cat /dev/urandom 写巨型文件超限即被内核 SIGXFSZ 杀掉, # 对 bind 卷上的写入同样生效(内核层限制,与文件系统无关)。 - # 注意:只限单文件不限总占用量,“大量文件堆满磁盘”需宿主机侧配额(xfs project quota / 独立分区)兜底。 + # 只限单文件不限总占用量,“大量文件堆满磁盘”需宿主机侧配额(xfs project quota / 独立分区)兜底。 fsize: soft: 2147483648 hard: 2147483648 - cap_drop: - - SYS_ADMIN - - DAC_OVERRIDE + # privileged: true 拿最大执行权限(默认能力集 + seccomp/apparmor unconfined)。 + # 原因:executor 需在每条命令前 unshare(2) + mount(2) 临时覆盖 /workspace/tasks 为 tmpfs, + # 只回挂当前会话目录,让 AI 看不到别人的项目。默认 cap_drop + 默认 seccomp/apparmor 会拦下这两个调用。 + # 安全网:容器仅 expose 9000 + agent-internal 外网不可见;cpus/mem/pids/fsize cgroup 仍受控。 + privileged: true networks: - agent-internal diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index 662e4f1..7cedea5 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -353,6 +353,8 @@ stateDiagram-v2 | `EXECUTOR_TOKEN` | 空 | 可选 Bearer 鉴权 | | `EXECUTOR_LOG_LEVEL` | `info` | 分级日志(debug 打满请求/响应交互) | +**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 在任务根本身或其外(如 skill 入口跑在技能目录)不隔离直接 spawn。需 compose 配 `privileged: true`(默认 cap_drop + seccomp/apparmor 会拦 `unshare(2)`/`mount(2)`);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。 + **资源护栏**(compose 层,**不在 server.js**): `cpus 2.0` / `mem_limit 2g` / `pids_limit 512` / `ulimits.fsize 2G` —— 防 AI 失控命令。残余缺口(只限单文件不限总量)在 compose 注释里已标。 diff --git a/executor/server.js b/executor/server.js index 325c8f5..376c3c4 100644 --- a/executor/server.js +++ b/executor/server.js @@ -17,6 +17,11 @@ // - timeout_ms 夹在 [1s, EXECUTOR_MAX_TIMEOUT_MS](默认 30 分钟); // - stdout/stderr 各自按 max_output_chars 截断(默认 EXECUTOR_MAX_OUTPUT_CHARS=200000),超限后丢弃剩余输出,exit 事件带 truncated 标记。 // +// per-task 隔离:每条命令默认在新的 mount 命名空间里跑。启动 wrapper 把 EXECUTOR_CWD(任务根,/workspace/tasks) +// 覆盖为 tmpfs,只把当前会话的子目录 bind 回原路径上——结果:AI 命令能读写自己的项目,看不到别人的 task 目录。 +// 任务根以外的路径(/workspace/skills、/tmp、/usr、依赖包等)不受影响。mount 命名空间随进程退出自动销毁。 +// 需 CAP_SYS_ADMIN + 默认 seccomp/apparmor unconfined:compose 里 agent-executor 配了 privileged: true。 +// // 日志:EXECUTOR_LOG_LEVEL=debug|info|warn|error|none(默认 info,none/off 全静默),分级语义与 core 的 log.js 一致。 // info = 关键动作(启动/进程 start/exit/取消/关闭);debug = 额外打印与 core 的完整交互: // 每个请求行、/exec 请求体、每条 SSE 下发帧、每个 JSON 响应(超长内容截断显示)。改环境配置后重启容器生效。 @@ -80,6 +85,36 @@ function brief(s, n) { return s.length > n ? s.slice(0, n) + '…(+' + (s.length - n) + ')' : s; } +// 单引号安全包裹:内部单引号按 '\'' 规则转义,给 sh -c 拼命令串用。 +function shq(s) { return "'" + String(s).replace(/'/g, "'\\''") + "'"; } + +// per-task 挂载隔离 wrapper:返回一个 sh -c 脚本,shell 启动时跑: +// 1) 把 cwd 预先 bind 到 /tmp 下的 anchor(避开后面被覆盖的任务根) +// 2) 在新 mount ns 里把任务根覆盖为 tmpfs(其他会话从此不可见) +// 3) 在 tmpfs 下重建当前会话目录名,把 anchor bind 回原路径上 +// 4) 拆掉 anchor,切到 cwd,exec 用户命令 +// cwd 不在任务根下时返回 null(不隔离;主要适用于 skill 入口直接跑在 /workspace/skills/ 的场景)。 +function isolatedCommand(command, cwd) { + if (cwd === DEFAULT_CWD || !cwd.startsWith(DEFAULT_CWD + path.sep)) return null; + // 会话根 = 任务根下的第一层子目录(task-YYYYMMDD-NNN);cwd 可能是其下任意深子目录(terminal 的 cd)。 + // 隔离时整个会话根 bind 回去,相对子路径自然保留,cd 回原 cwd 不会断。 + const rel = path.relative(DEFAULT_CWD, cwd); + const sessionName = rel.split(path.sep)[0]; + const sessionRoot = path.join(DEFAULT_CWD, sessionName); + return [ + 'set -e', + 'anchor=$(mktemp -d /tmp/.exanchor.XXXXXXXXXX)', + 'mount --bind ' + shq(sessionRoot) + ' "$anchor"', + 'mount -t tmpfs tmpfs ' + shq(DEFAULT_CWD), + 'mkdir ' + shq(sessionRoot), + 'mount --bind "$anchor" ' + shq(sessionRoot), + 'umount "$anchor"', + 'rmdir "$anchor"', + 'cd ' + shq(cwd), + 'exec /bin/sh -c ' + shq(command), + ].join('\n'); +} + // 常量时间比较,避免通过响应耗时猜 token function tokenOk(req) { if (!TOKEN) return true; @@ -164,7 +199,14 @@ async function handleExec(req, res) { const id = crypto.randomUUID(); let child; try { - child = spawn('/bin/sh', ['-c', command], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); + // 任务根下的命令走 unshare(2) + mount(2) 临时覆盖 /workspace/tasks 为 tmpfs,只保留当前会话目录; + // cwd 在任务根外(如 skill 入口跑在技能目录)时直接 spawn。详见 isolatedCommand。 + const isolation = isolatedCommand(command, cwd); + if (isolation) { + child = spawn('unshare', ['--mount', '/bin/sh', '-c', isolation], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); + } else { + child = spawn('/bin/sh', ['-c', command], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); + } } catch (e) { return send(res, 500, { error: 'spawn 失败:' + e.message }); } diff --git a/executor/smoke-test.js b/executor/smoke-test.js index 2f63330..88c86a9 100644 --- a/executor/smoke-test.js +++ b/executor/smoke-test.js @@ -1,11 +1,14 @@ // agent-executor 冒烟测试:node smoke-test.js(在本目录执行)。 -// 覆盖:/health、/exec 流式输出与退出事件、增量下发时序、cwd 白名单拒绝、DELETE 取消、EXECUTOR_TOKEN 鉴权。 +// 覆盖:/health、/exec 流式输出与退出事件、增量下发时序、cwd 白名单拒绝、DELETE 取消、EXECUTOR_TOKEN 鉴权、per-task 挂载隔离。 +// 注意:隔离用例需 root/CAP_SYS_ADMIN(unshare+mount),无权限时自动 SKIP 不计失败。 process.env.PORT = process.env.PORT || '19000'; process.env.EXECUTOR_ROOTS = process.env.__SELF_DIR__ || __dirname; // 宿主机测试:白名单取本目录 process.env.EXECUTOR_CWD = process.env.__SELF_DIR__ || __dirname; delete process.env.EXECUTOR_TOKEN; // 主实例不带 token,鉴权单独测 const { spawn } = require('child_process'); +const path = require('path'); +const fs = require('fs'); require('./server.js'); const BASE = 'http://127.0.0.1:' + process.env.PORT; @@ -76,8 +79,38 @@ async function main() { const exit6 = evs6[evs6.length - 1]; check('输出按 max_output_chars 截断', outChars <= 100 && exit6.truncated === true, 'chars=' + outChars + ' exit=' + JSON.stringify(exit6)); - // 7. 未知路由 - check('未知路由 404', (await fetch(BASE + '/nope')).status === 404); + // 7.5 per-task 挂载隔离:另起一个实例(端口 19002),EXECUTOR_CWD=.iso-tasks(任务根), + // 下放 iso-a / iso-b 两个「会话」目录;cwd 取 iso-a 的深层子目录(模拟 terminal 的 cd),验证: + // 任务根下只看到 iso-a、cd 兄弟会话被拒、自己文件可读;无 mount 权限时整组 SKIP。 + const isoRoot = path.join(__dirname, '.iso-tasks'); + fs.rmSync(isoRoot, { recursive: true, force: true }); + fs.mkdirSync(path.join(isoRoot, 'iso-a', 'deep'), { recursive: true }); + fs.mkdirSync(path.join(isoRoot, 'iso-b'), { recursive: true }); + fs.writeFileSync(path.join(isoRoot, 'iso-a', 'a.txt'), 'a'); + fs.writeFileSync(path.join(isoRoot, 'iso-b', 'b.txt'), 'b'); + const isoChild = spawn(process.execPath, [__dirname + '/server.js'], { env: Object.assign({}, process.env, { PORT: '19002', EXECUTOR_ROOTS: isoRoot, EXECUTOR_CWD: isoRoot }), stdio: 'ignore' }); + await new Promise(r => setTimeout(r, 500)); + const isoCwd = path.join(isoRoot, 'iso-a', 'deep'); + // 分隔符切段便于精确断言;cd 失败信息不走 stderr 上送(含 iso-b 字样会污染 ls 段断言),改用 leaked/blocked 标记区分。 + const evsI = await collect(await fetch('http://127.0.0.1:19002/exec', { + method: 'POST', headers: { 'Content-Type': 'application/json' }, + body: JSON.stringify({ command: 'pwd; echo @LS@; ls ../../; echo @CD@; cd ../../iso-b 2>/dev/null && echo leaked || echo blocked; echo @CAT@; cat ../../iso-a/a.txt', cwd: isoCwd, timeout_ms: 5000 }), + })); + const outI = evsI.filter(e => e.type === 'out' || e.type === 'err').map(e => e.chunk).join(''); + const exitI = evsI[evsI.length - 1]; + if (!exitI || exitI.code !== 0) { + console.log('SKIP per-task 挂载隔离(需 root/CAP_SYS_ADMIN;exit=' + (exitI && exitI.code) + ')'); + } else { + const lsRegion = outI.split('@LS@')[1].split('@CD@')[0]; + check('隔离: 任务根只见 iso-a', /iso-a/.test(lsRegion) && !/iso-b/.test(lsRegion), 'ls=' + JSON.stringify(lsRegion)); + check('隔离: cd 兄弟会话被拒', /blocked/.test(outI) && !/leaked/.test(outI), 'out=' + JSON.stringify(outI)); + // cat 成功只回显文件内容(a),不含文件名;取 @CAT@ 段精确比对。 + check('隔离: 深子目录 pwd 不丢 + 自己文件可读', outI.includes(isoCwd) && outI.split('@CAT@')[1].trim() === 'a', 'out=' + JSON.stringify(outI)); + } + isoChild.kill('SIGKILL'); + fs.rmSync(isoRoot, { recursive: true, force: true }); + + // 8. token 鉴权:另起一个带 EXECUTOR_TOKEN 的实例(子进程,端口 19001) // 8. token 鉴权:另起一个带 EXECUTOR_TOKEN 的实例(子进程,端口 19001) const child = spawn(process.execPath, [__dirname + '/server.js'], { env: Object.assign({}, process.env, { PORT: '19001', EXECUTOR_TOKEN: 't9' }), stdio: 'ignore' });