diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index 7637aab..b5ce0e4 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -354,7 +354,7 @@ stateDiagram-v2 | `EXECUTOR_TOKEN` | 空 | 可选 Bearer 鉴权 | | `EXECUTOR_LOG_LEVEL` | `info` | 分级日志(debug 打满请求/响应交互) | -**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如 skill 入口跑在技能目录)不隔离直接 spawn。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。 +**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如 skill 入口跑在技能目录)不隔离直接 spawn。wrapper 同时 `unshare --pid --fork` 进新 pid ns 并重挂 /proc(flags 对齐 docker):否则 /proc 仍是宿主视图,`nsenter --mount=/proc/1/ns/mnt` 可借 executor 主进程的 ns 句柄逃逸回原始 mount ns(已实测复现过);重挂后 /proc/1 即命令自身。新 proc 可写会顶掉 docker 防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 宿主逃逸)、/dev/null 遮蔽 kcore/keys/sysrq-trigger(echo b 可重启宿主机)。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。 **资源护栏**(compose 层,**不在 server.js**): `cpus 2.0` / `mem_limit 2g` / `pids_limit 512` / `ulimits.fsize 2G` —— 防 AI 失控命令。残余缺口(只限单文件不限总量)在 compose 注释里已标。 diff --git a/executor/server.js b/executor/server.js index 55e2478..7b820cd 100644 --- a/executor/server.js +++ b/executor/server.js @@ -19,8 +19,13 @@ // - timeout_ms 夹在 [1s, EXECUTOR_MAX_TIMEOUT_MS](默认 30 分钟); // - stdout/stderr 各自按 max_output_chars 截断(默认 EXECUTOR_MAX_OUTPUT_CHARS=200000),超限后丢弃剩余输出,exit 事件带 truncated 标记。 // -// per-task 隔离:每条命令默认在新的 mount 命名空间里跑。启动 wrapper 把 EXECUTOR_CWD(任务根,/workspace/tasks) +// per-task 隔离:每条命令默认在新的 mount + pid 命名空间里跑。启动 wrapper 把 EXECUTOR_CWD(任务根,/workspace/tasks) // 覆盖为 tmpfs,只把当前会话的子目录 bind 回原路径上——结果:AI 命令能读写自己的项目,看不到别人的 task 目录。 +// 同时 unshare --pid + 重挂 /proc:否则 /proc 仍是宿主视图,/proc/1(executor 主进程)的 ns/mnt 符号链接是原始 mount ns +// 的句柄,AI 用 nsenter --mount=/proc/1/ns/mnt 即可逃逸回未隔离视图(已实测复现);重挂后 /proc/1 即命令自身。 +// 新 proc 可写会顶掉 docker 的防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 类宿主逃逸)、 +// /dev/null 遮蔽 kcore/keys(docker maskPaths)与 sysrq-trigger(可写 proc 新暴露,echo b 可重启宿主机)。 +// 副作用红利:pid ns 内 ps 只见自家进程树;double-fork 脱管的守护进程随命令退出被内核连带清理。 // 任务根以外的路径(/workspace/skills、/tmp、/usr、依赖包等)不受影响。mount 命名空间随进程退出自动销毁。 // 需 CAP_SYS_ADMIN,且 AppArmor 不能拦 mount(Docker 默认 docker-default profile 会拦):compose 里 agent-executor 配 cap_add SYS_ADMIN + apparmor=unconfined,不用 privileged(实测默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 mount/unshare)。 // @@ -92,11 +97,12 @@ function brief(s, n) { // 单引号安全包裹:内部单引号按 '\'' 规则转义,给 sh -c 拼命令串用。 function shq(s) { return "'" + String(s).replace(/'/g, "'\\''") + "'"; } -// per-task 挂载隔离 wrapper:返回一个 sh -c 脚本,shell 启动时跑: +// per-task 挂载隔离 wrapper:返回一个 sh -c 脚本,shell 启动时跑(与 unshare --mount --pid --fork 配合): +// 0) 重挂 proc 到新 pid ns(封掉 nsenter /proc/1/ns/mnt 逃逸),还原 /proc/sys 只读与 mask 遮蔽 // 1) 把 cwd 预先 bind 到 /tmp 下的 anchor(避开后面被覆盖的任务根) // 2) 在新 mount ns 里把任务根覆盖为 tmpfs(其他会话从此不可见) // 3) 在 tmpfs 下重建当前会话目录名,把 anchor bind 回原路径上 -// 4) 拆掉 anchor,切到 cwd,exec 用户命令 +// 4) 拆掉 anchor,切到 cwd,exec 用户命令(此时已是新 pid ns 的 PID 1) // cwd 不在任务根下时返回 null(不隔离;主要适用于 skill 入口直接跑在 /workspace/skills/ 的场景)。 // cwd 恰为任务根本身已在 handleExec 边界拒绝,首条分支仅作兜底。 function isolatedCommand(command, cwd) { @@ -108,6 +114,16 @@ function isolatedCommand(command, cwd) { const sessionRoot = path.join(DEFAULT_CWD, sessionName); return [ 'set -e', + // pid/proc 侧:重挂 proc 绑定本 pid ns(flags 对齐 docker),/proc/1 自此即命令自身,无宿主 ns 句柄可指。 + // 新 proc 是可写的,若不还原会顶掉 docker 防护:/proc/sys 可写→kernel.core_pattern 宿主 root 逃逸; + // 新 mount 盖住旧 /proc 后 maskPaths(kcore/keys)失效;sysrq-trigger 虽非 docker 遮蔽,但可写 proc 下 + // root+SYS_ADMIN 可 echo b 直接重启宿主机,一并遮蔽。mount 失败由 set -e 断令,fail-closed。 + 'mount -t proc -o nosuid,noexec,nodev proc /proc', + 'mount --bind /dev/null /proc/kcore', + 'mount --bind /dev/null /proc/keys', + 'mount --bind /dev/null /proc/sysrq-trigger', + 'mount --bind /proc/sys /proc/sys', + 'mount -o remount,bind,ro /proc/sys', 'anchor=$(mktemp -d /tmp/.exanchor.XXXXXXXXXX)', 'mount --bind ' + shq(sessionRoot) + ' "$anchor"', 'mount -t tmpfs tmpfs ' + shq(DEFAULT_CWD), @@ -209,11 +225,12 @@ async function handleExec(req, res) { const id = crypto.randomUUID(); let child; try { - // 任务根下的命令走 unshare(2) + mount(2) 临时覆盖 /workspace/tasks 为 tmpfs,只保留当前会话目录; - // cwd 在任务根外(如 skill 入口跑在技能目录)时直接 spawn。详见 isolatedCommand。 + // 任务根下的命令走 unshare(2) + mount(2):新 mount ns 里用 tmpfs 盖住 /workspace/tasks 只留当前会话目录; + // 新 pid ns(--pid --fork)+ wrapper 重挂 proc,封掉借 /proc/1/ns/mnt nsenter 回原始 ns 的逃逸路径(详见 isolatedCommand)。 + // cwd 在任务根外(如 skill 入口跑在技能目录)时直接 spawn。 const isolation = isolatedCommand(command, cwd); if (isolation) { - child = spawn('unshare', ['--mount', '/bin/sh', '-c', isolation], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); + child = spawn('unshare', ['--mount', '--pid', '--fork', '/bin/sh', '-c', isolation], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); } else { child = spawn('/bin/sh', ['-c', command], { cwd, env, detached: true, stdio: ['ignore', 'pipe', 'pipe'] }); } diff --git a/executor/smoke-test.js b/executor/smoke-test.js index 785c739..a56b778 100644 --- a/executor/smoke-test.js +++ b/executor/smoke-test.js @@ -1,5 +1,5 @@ // agent-executor 冒烟测试:node smoke-test.js(在本目录执行)。 -// 覆盖:/health、/exec 流式输出与退出事件、增量下发时序、cwd 白名单拒绝、任务根边界(缺省/恰为任务根 → 400)、DELETE 取消、EXECUTOR_TOKEN 鉴权、per-task 挂载隔离、客户端半路断连不击穿服务。 +// 覆盖:/health、/exec 流式输出与退出事件、增量下发时序、cwd 白名单拒绝、任务根边界(缺省/恰为任务根 → 400)、DELETE 取消、EXECUTOR_TOKEN 鉴权、per-task 挂载隔离(含 nsenter /proc/1 逃逸回归)、客户端半路断连不击穿服务。 // 注意:隔离用例需 root/CAP_SYS_ADMIN(unshare+mount),无权限时自动 SKIP 不计失败;其余用例 cwd 故意取任务根外目录,保持非隔离路径可在无权限环境跑。 process.env.PORT = process.env.PORT || '19000'; const SELF = process.env.__SELF_DIR__ || __dirname; // 宿主机测试:白名单取本目录 @@ -101,7 +101,8 @@ async function main() { // 7.5 per-task 挂载隔离:另起一个实例(端口 19002),EXECUTOR_CWD=.iso-tasks(任务根), // 下放 iso-a / iso-b 两个「会话」目录;cwd 取 iso-a 的深层子目录(模拟 terminal 的 cd),验证: - // 任务根下只看到 iso-a、cd 兄弟会话被拒、自己文件可读;无 mount 权限时整组 SKIP。 + // 任务根下只看到 iso-a、cd 兄弟会话被拒、自己文件可读;另验 nsenter /proc/1 逃逸封堵与 /proc/sys 只读; + // 及 wrapper 内(新 pid ns、命令即 PID 1)超时杀进程语义;无 mount 权限时整组 SKIP。 const isoRoot = path.join(__dirname, '.iso-tasks'); fs.rmSync(isoRoot, { recursive: true, force: true }); fs.mkdirSync(path.join(isoRoot, 'iso-a', 'deep'), { recursive: true }); @@ -114,7 +115,7 @@ async function main() { // 分隔符切段便于精确断言;cd 失败信息不走 stderr 上送(含 iso-b 字样会污染 ls 段断言),改用 leaked/blocked 标记区分。 const evsI = await collect(await fetch('http://127.0.0.1:19002/exec', { method: 'POST', headers: { 'Content-Type': 'application/json' }, - body: JSON.stringify({ command: 'pwd; echo @LS@; ls ../../; echo @CD@; cd ../../iso-b 2>/dev/null && echo leaked || echo blocked; echo @CAT@; cat ../../iso-a/a.txt', cwd: isoCwd, timeout_ms: 5000 }), + body: JSON.stringify({ command: 'pwd; echo @LS@; ls ../../; echo @CD@; cd ../../iso-b 2>/dev/null && echo leaked || echo blocked; echo @CAT@; cat ../../iso-a/a.txt; echo; echo @NS@; nsenter --mount=/proc/1/ns/mnt ls ' + isoRoot + ' 2>&1; echo @SYS@; echo 1 > /proc/sys/kernel/panic 2>/dev/null && echo sysctl_writable || echo sysctl_ro', cwd: isoCwd, timeout_ms: 5000 }), })); const outI = evsI.filter(e => e.type === 'out' || e.type === 'err').map(e => e.chunk).join(''); const exitI = evsI[evsI.length - 1]; @@ -124,8 +125,21 @@ async function main() { const lsRegion = outI.split('@LS@')[1].split('@CD@')[0]; check('隔离: 任务根只见 iso-a', /iso-a/.test(lsRegion) && !/iso-b/.test(lsRegion), 'ls=' + JSON.stringify(lsRegion)); check('隔离: cd 兄弟会话被拒', /blocked/.test(outI) && !/leaked/.test(outI), 'out=' + JSON.stringify(outI)); - // cat 成功只回显文件内容(a),不含文件名;取 @CAT@ 段精确比对。 - check('隔离: 深子目录 pwd 不丢 + 自己文件可读', outI.includes(isoCwd) && outI.split('@CAT@')[1].trim() === 'a', 'out=' + JSON.stringify(outI)); + // cat 成功只回显文件内容(a),不含文件名;取 @CAT@…@NS@ 段精确比对。 + check('隔离: 深子目录 pwd 不丢 + 自己文件可读', outI.includes(isoCwd) && outI.split('@CAT@')[1].split('@NS@')[0].trim() === 'a', 'out=' + JSON.stringify(outI)); + // 逃逸回归:/proc/1 已是本 pid ns 的命令自身,借它 nsenter 只能进同一个隔离 ns,看不到 iso-b。 + // 必须绝对路径:nsenter 进 mount ns 后会 chdir("/"),相对路径在新 ns 根下解析会失真。 + const nsRegion = outI.split('@NS@')[1].split('@SYS@')[0]; + check('逃逸: nsenter /proc/1 后仍只见 iso-a', /iso-a/.test(nsRegion) && !/iso-b/.test(nsRegion), 'ns=' + JSON.stringify(nsRegion)); + // 重挂的 proc 必须还原 docker 的 /proc/sys 只读防护(否则 kernel.core_pattern 可写 → 宿主逃逸面)。 + check('逃逸: 新 proc 下 /proc/sys 仍只读', /sysctl_ro/.test(outI) && !/sysctl_writable/.test(outI), 'out=' + JSON.stringify(outI)); + // wrapper 内超时杀进程:命令已是新 pid ns 的 PID 1,验证杀进程组/超时对 PID 1 同样有效。 + const evsTK = await collect(await fetch('http://127.0.0.1:19002/exec', { + method: 'POST', headers: { 'Content-Type': 'application/json' }, + body: JSON.stringify({ command: 'sleep 30', cwd: isoCwd, timeout_ms: 600 }), + })); + const exitTK = evsTK[evsTK.length - 1]; + check('隔离: wrapper 内超时杀进程(PID 1 语义)', exitTK && exitTK.killed_by === 'timeout', JSON.stringify(exitTK)); } isoChild.kill('SIGKILL'); fs.rmSync(isoRoot, { recursive: true, force: true });