diff --git a/app/server/tools/skills.js b/app/server/tools/skills.js index 5478408..44c7a19 100644 --- a/app/server/tools/skills.js +++ b/app/server/tools/skills.js @@ -227,7 +227,8 @@ function validateArgs(fm, inputArgs, skillName) { // 前台执行技能入口,带超时与取消支持;成功 resolve stdout,失败 reject SkillExecutionError。 // 配了 executor:入口命令拼成单条 shell 行(参数单引号转义,JSON payload 安全)交远端执行, -// cwd 指向技能目录、PYTHONPATH 指向共享 deps;core 与 executor 同路径挂载 skills,无需翻译。 +// cwd 由调用方给出(run_skill 传会话目录以命中 session 隔离与虚拟视图;依赖安装仍传技能目录), +// PYTHONPATH 指向共享 deps;core 与 executor 同路径挂载 skills,无需翻译。 function runEntry(ctx, entry, args, cwd, timeoutMs) { const cfg = ctx.cfg; if (cfg && rexec.isRemote(cfg)) { @@ -314,18 +315,23 @@ async function runSkill(ctx, skillName, inputArgs) { const runSh = path.join(dir, 'run.sh'); if (fs.existsSync(runPy)) { // PYTHONPATH 已指向共享 deps,直接走系统 python3。 + // 入口一律用绝对路径:远端 cwd 是会话目录,相对的 'run.py' 会找不到。 entry = 'python3'; - cmdArgs = ['run.py', payload]; + cmdArgs = [runPy, payload]; } else if (fs.existsSync(runSh)) { entry = 'bash'; - cmdArgs = ['run.sh', payload]; + cmdArgs = [runSh, payload]; } else { throw new SkillExecutionError('技能 ' + skillName + ' 缺少入口 run.py 或 run.sh', 1); } + // cwd:远端取会话目录(executor 侧命中 session 隔离,技能看到的 /workspace/tasks/ + // 与 core 侧是同一份数据,absolutizeArgs 产出的绝对路径因此有效);缺 taskDir 时退回 + // 技能目录(退化为旧行为)。本地无隔离诉求,仍以技能目录为 cwd。 + const execCwd = rexec.isRemote(ctx.cfg) ? (ctx.taskDir || dir) : dir; const timeoutMs = (ctx.cfg && ctx.cfg.skills && ctx.cfg.skills.timeout_ms) || 120000; - log.info('skills', '执行 ' + skillName + ':' + entry + ' ' + cmdArgs.join(' ')); - return runEntry(ctx, entry, cmdArgs, dir, timeoutMs); + log.info('skills', '执行 ' + skillName + ':' + entry + ' ' + cmdArgs.join(' ') + '(cwd=' + execCwd + ')'); + return runEntry(ctx, entry, cmdArgs, execCwd, timeoutMs); } module.exports = { listSkills, getSkillInfo, runSkill, skillsRoot, parseFrontMatter, extractDescription, formatSkillListForPrompt }; \ No newline at end of file diff --git a/app/test/remote-exec.test.js b/app/test/remote-exec.test.js index 2bf350d..308e32e 100644 --- a/app/test/remote-exec.test.js +++ b/app/test/remote-exec.test.js @@ -1,22 +1,47 @@ // 集成测试:core 的 terminal 工具 / runSkill 走远端 executor(同机起 executor 于 19000)。 +// 需要 Linux + CAP_SYS_ADMIN:executor 隔离用 unshare/mount,macOS 上无法运行。 +// +// 拓扑模拟两个容器共享同一份宿主机任务目录: +// REAL (/ISO/) —— 宿主机真实会话数据(等价 compose 的 ./tasks/) +// VIRT (ROOTS/tasks/) —— core 与 executor ns 里看到的虚拟会话路径 +// session 模式下 wrapper 会遮 ROOTS/tasks 再把 REAL bind 到 VIRT,故断言写盘要查 REAL。 const path = require('path'); const fs = require('fs'); +const os = require('os'); const ROOT = path.resolve(__dirname, '..', '..'); // agent 仓库根 const TMP = path.join(ROOT, 'app/test/tmp/remote-exec'); -const TASK = path.join(TMP, 'task'); -const SKILLS = path.join(TMP, 'skills'); +const ROOTS = path.join(TMP, 'ws'); // EXECUTOR_ROOTS +const TASKS = path.join(ROOTS, 'tasks'); // EXECUTOR_CWD(虚拟任务根) +const SKILLS = path.join(ROOTS, 'skills'); +const SID = 'sess1'; +const VIRT = path.join(TASKS, SID); // core 侧会话目录(虚拟路径) +// ISOLATION_BASE 与 ROOTS 无父子关系;其父目录 MNTROOT 是独立目录,遮盖不会波及 ROOTS/系统 /tmp。 +const ISOROOT = fs.mkdtempSync(path.join(os.tmpdir(), 'agent-exec-iso-')); +const ISO = path.join(ISOROOT, 'host-tasks'); +const REAL = path.join(ISO, SID); // 宿主机真实会话数据 + fs.rmSync(TMP, { recursive: true, force: true }); -fs.mkdirSync(TASK, { recursive: true }); +fs.mkdirSync(VIRT, { recursive: true }); +fs.mkdirSync(REAL, { recursive: true }); fs.mkdirSync(path.join(SKILLS, 'echo'), { recursive: true }); fs.writeFileSync(path.join(SKILLS, 'echo/SKILL.md'), '---\ndescription: 回显参数\n---\n回显\n'); fs.writeFileSync(path.join(SKILLS, 'echo/run.sh'), '#!/bin/sh\necho "payload=$1"\necho "pp=$PYTHONPATH"\n'); +// 文件读写技能:验证技能进程在会话隔离视图里能按 absolutizeArgs 产出的绝对路径读/写会话数据。 +fs.mkdirSync(path.join(SKILLS, 'fileio'), { recursive: true }); +fs.writeFileSync(path.join(SKILLS, 'fileio/SKILL.md'), '---\ndescription: 文件读写\n---\n'); +fs.writeFileSync(path.join(SKILLS, 'fileio/run.sh'), + '#!/bin/sh\nPAYLOAD="$1" node -e \'const fs=require("fs");const a=JSON.parse(process.env.PAYLOAD);' + + 'fs.writeFileSync(a.output,fs.readFileSync(a.input,"utf8").toUpperCase());console.log("OK "+a.output);\'\n'); // 1) executor 服务进程内启动 process.env.PORT = '19000'; -process.env.EXECUTOR_ROOTS = TMP; -process.env.EXECUTOR_CWD = TASK; +process.env.EXECUTOR_ROOTS = ROOTS; +process.env.EXECUTOR_CWD = TASKS; +process.env.EXECUTOR_ISOLATION_BASE = ISO; +process.env.EXECUTOR_SKILLS_DIR = SKILLS; delete process.env.EXECUTOR_URL; delete process.env.EXECUTOR_TOKEN; +delete process.env.EXECUTOR_LOG_LEVEL; require(path.join(ROOT, 'executor/server.js')); // 2) core 侧模块 @@ -27,7 +52,7 @@ const skills = require(path.join(ROOT, 'app/server/tools/skills')); const yml = (extra) => 'platforms:\n - url: https://a.com/v1\n keys:\n - models:\n - id: m1\nexecutor:\n url: "http://127.0.0.1:19000"\n' + extra; function mkCtx(cfgExtra) { const cfg = loadConfigFromText(yml(cfgExtra), ''); - return { cfg, taskDir: TASK, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } }; + return { cfg, sessionId: SID, taskDir: VIRT, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } }; } let failed = 0; const check = (n, c, e) => { console.log((c ? 'PASS' : 'FAIL') + ' ' + n + (c || !e ? '' : ' → ' + e)); if (!c) failed++; }; @@ -36,12 +61,13 @@ const sleep = ms => new Promise(r => setTimeout(r, ms)); async function main() { await sleep(200); - // --- terminal:基本输出 / 退出码 / 文件落在共享目录 --- + // --- terminal:基本输出 / 退出码 / 文件落在真实会话目录(隔离视图写穿回宿主机)--- let ctx = mkCtx(''); check('executor.url 生效', ctx.cfg.executor.url === 'http://127.0.0.1:19000', ctx.cfg.executor.url); let r = await toolExec.executeTool(ctx, 'terminal', { command: 'echo 远程ok; pwd; echo data > out.txt' }); - check('输出含远端结果', r.includes('远程ok') && r.includes(TASK) && r.includes('[exit code: 0]'), r); - check('文件写入共享目录', fs.existsSync(path.join(TASK, 'out.txt'))); + check('输出含远端结果且 cwd 为虚拟会话路径', r.includes('远程ok') && r.includes(VIRT) && r.includes('[exit code: 0]'), r); + check('文件写入真实会话目录', fs.existsSync(path.join(REAL, 'out.txt'))); + check('虚拟路径本身未被写穿(隔离生效)', !fs.existsSync(path.join(VIRT, 'out.txt'))); // --- 非零退出码 --- r = await toolExec.executeTool(ctx, 'terminal', { command: 'exit 7' }); @@ -70,7 +96,7 @@ async function main() { const h = await (await fetch('http://127.0.0.1:19000/health')).json(); check('executor 无残留进程', h.running.length === 0, JSON.stringify(h.running)); - // --- runSkill:入口脚本 + JSON payload 引号 + PYTHONPATH --- + // --- runSkill:入口脚本 + JSON payload 引号 + PYTHONPATH(cwd 落在会话目录)--- ctx = mkCtx('skills:\n skills_root: "' + SKILLS + '"\n'); const msg = "带 空格 和'单引号' 与\"双引号\"及中文"; let sr = await skills.runSkill(ctx, 'echo', { msg }); @@ -78,10 +104,17 @@ async function main() { check('runSkill 远端执行成功', sr.includes(want), sr); check('PYTHONPATH 指向共享 deps', sr.includes('pp=' + path.join(SKILLS, 'deps')), sr); + // --- runSkill 文件读写:绝对路径在会话隔离视图里可用(修复的核心回归点)--- + fs.writeFileSync(path.join(REAL, 'in.txt'), 'hello'); + sr = await skills.runSkill(ctx, 'fileio', { input: 'in.txt', output: 'out.txt' }); + check('技能读到会话输入文件并成功执行', sr.includes('OK ' + path.join(VIRT, 'out.txt')), sr); + check('技能输出写回真实会话目录且内容正确', + fs.existsSync(path.join(REAL, 'out.txt')) && fs.readFileSync(path.join(REAL, 'out.txt'), 'utf8') === 'HELLO'); + // --- 传输失败:executor 不可达 --- const ymlBad = 'platforms:\n - url: https://a.com/v1\n keys:\n - models:\n - id: m1\nexecutor:\n url: "http://127.0.0.1:19999"\n'; const cfgBad = loadConfigFromText(ymlBad, ''); - const ctxBad = { cfg: cfgBad, taskDir: TASK, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } }; + const ctxBad = { cfg: cfgBad, sessionId: SID, taskDir: VIRT, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } }; let threw = ''; try { await toolExec.executeTool(ctxBad, 'terminal', { command: 'echo x' }); } catch (e) { threw = e.message; } check('不可达时报错而非静默', threw.includes('executor 调用失败'), threw); diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index cfea083..b14d1c8 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -270,6 +270,7 @@ stateDiagram-v2 - `.deps_installed` 标记文件记录两份 hash,变化才重装。 - `runSkill` 流程:`skillDir` 校验 → `absolutizeArgs`(按任务目录 + 启发式判断路径类参数) → `validateArgs`(按 front matter `input_schema.required`) → `ensureDeps` → 选 `python3 run.py ''` 或 `bash run.sh ''` → `runEntry`。 - **走 executor**:命令拼成 `shq` 转义后的单条 shell 行(`shellLine`),env 只传 `PYTHONPATH=`。 +- **cwd 分两类**:`run_skill` 传会话任务目录(`ctx.taskDir`),命中 executor 的 session 隔离与虚拟视图,技能在 `/workspace/tasks/` 看到的就是本会话数据,`absolutizeArgs` 产出的绝对路径因此有效;入口脚本一律用绝对路径(cwd 已不是技能目录)。`ensureDeps` 的安装命令仍传技能目录(依赖是技能私有资源,且 skills 为 `:ro`,运行期不应安装)。 ### 5.6 `remote-exec.js` —— 远端 executor 客户端 @@ -354,7 +355,7 @@ stateDiagram-v2 | `EXECUTOR_TOKEN` | 空 | 可选 Bearer 鉴权 | | `EXECUTOR_LOG_LEVEL` | `info` | 分级日志(debug 打满请求/响应交互) | -**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如 skill 入口跑在技能目录)不隔离直接 spawn。wrapper 同时 `unshare --pid --fork` 进新 pid ns 并重挂 /proc(flags 对齐 docker):否则 /proc 仍是宿主视图,`nsenter --mount=/proc/1/ns/mnt` 可借 executor 主进程的 ns 句柄逃逸回原始 mount ns(已实测复现过);重挂后 /proc/1 即命令自身。新 proc 可写会顶掉 docker 防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 宿主逃逸)、/dev/null 遮蔽 kcore/keys/sysrq-trigger(echo b 可重启宿主机)。wrapper 还把 server.js 所在目录(镜像 WORKDIR,容器内 `/app`)tmpfs 盖掉(任务根与之嵌套的开发态跳过);且下发命令的 env 剥掉 `EXECUTOR_TOKEN`——否则 `env` 一 dump 即得 token,可从容器内回环调 `/exec` 以任意会话目录起命令,绕过隔离。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。 +**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如技能依赖安装跑在技能目录)不隔离直接 spawn(/mnt 仍被遮,看不到任何会话数据)。wrapper 同时 `unshare --pid --fork` 进新 pid ns 并重挂 /proc(flags 对齐 docker):否则 /proc 仍是宿主视图,`nsenter --mount=/proc/1/ns/mnt` 可借 executor 主进程的 ns 句柄逃逸回原始 mount ns(已实测复现过);重挂后 /proc/1 即命令自身。新 proc 可写会顶掉 docker 防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 宿主逃逸)、/dev/null 遮蔽 kcore/keys/sysrq-trigger(echo b 可重启宿主机)。wrapper 还把 server.js 所在目录(镜像 WORKDIR,容器内 `/app`)tmpfs 盖掉(任务根与之嵌套的开发态跳过);且下发命令的 env 剥掉 `EXECUTOR_TOKEN`——否则 `env` 一 dump 即得 token,可从容器内回环调 `/exec` 以任意会话目录起命令,绕过隔离。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。 **资源护栏**(compose 层,**不在 server.js**): `cpus 2.0` / `mem_limit 2g` / `pids_limit 512` / `ulimits.fsize 2G` —— 防 AI 失控命令。残余缺口(只限单文件不限总量)在 compose 注释里已标。 diff --git a/skills/README.md b/skills/README.md index 8657768..541ee6a 100644 --- a/skills/README.md +++ b/skills/README.md @@ -167,7 +167,9 @@ Skill Manager 会为每个技能生成一个 `.deps_installed` 标记文件, Agent 调用技能时,传入的文件路径可能是相对路径(相对于任务目录)。Skill Manager 会在执行前自动将相对路径转换为绝对路径,因此**技能脚本无需关心路径解析**,直接使用传入的路径即可。但请注意: -- 如果技能内部需要引用其他文件(如模板、字体),请使用基于脚本所在目录的绝对路径(`os.path.dirname(__file__)`)。 +- **运行时的工作目录是「会话任务目录」,不是技能目录**(远端模式下即 executor 隔离视图里的 `/workspace/tasks/<会话>`)。技能进程只能看到当前会话的数据,看不到其他会话。 +- 因此技能内部引用**自身资源**(模板、字体、配置等)时,**必须**基于脚本位置取绝对路径,不要依赖 cwd:Python 用 `Path(__file__).resolve().parent`,Shell 用 `"$(dirname "$0")"`。 +- 读写会话数据用 `input_args` 里传入的路径即可;相对路径会被预转绝对路径,且在隔离视图里与 Agent 看到的是同一份数据。 --- @@ -191,6 +193,8 @@ cd skills/my-skill python3 run.py '{"input": "/path/to/test", "output": "/tmp/out"}' ``` +> 注意:手工调试时的 cwd 是技能目录,而**线上运行的 cwd 是会话任务目录**(见第 6 节)。所以脚本对自身资源的引用要用 `__file__`/`$0` 定位,手工调试才能与线上行为一致。 + 如果需要测试依赖安装,可以删除 `.deps_installed` 和 `deps/` 目录后重新执行。 ---