修复:技能远端执行的 cwd 落到会话目录,技能看不到会话文件
- runSkill 远端分支 cwd 由技能目录改为会话任务目录(ctx.taskDir),命中 executor 的 session 隔离与虚拟视图:技能在 /workspace/tasks/<sid> 看到的即本会话数据,absolutizeArgs 产出的绝对路径因此有效。此前 cwd 在任务根外走 plain 模式,/workspace/tasks 是镜像空目录,md2pdf/img-utils 这类读写会话文件的技能实际拿不到文件。本地分支行为不变。 - 入口脚本改传绝对路径(run.py/run.sh):cwd 不再是技能目录,相对入口会找不到。 - 依赖安装 ensureDeps 仍以技能目录为 cwd(依赖是技能私有资源,skills 为 :ro)。 - remote-exec 集成测试改为模拟真实会话(拆分虚拟路径/宿主机真实会话/隔离基路径),新增文件读写回归用例;同步 skills/README 与 ARCHITECTURE。
This commit is contained in:
@@ -227,7 +227,8 @@ function validateArgs(fm, inputArgs, skillName) {
|
||||
|
||||
// 前台执行技能入口,带超时与取消支持;成功 resolve stdout,失败 reject SkillExecutionError。
|
||||
// 配了 executor:入口命令拼成单条 shell 行(参数单引号转义,JSON payload 安全)交远端执行,
|
||||
// cwd 指向技能目录、PYTHONPATH 指向共享 deps;core 与 executor 同路径挂载 skills,无需翻译。
|
||||
// cwd 由调用方给出(run_skill 传会话目录以命中 session 隔离与虚拟视图;依赖安装仍传技能目录),
|
||||
// PYTHONPATH 指向共享 deps;core 与 executor 同路径挂载 skills,无需翻译。
|
||||
function runEntry(ctx, entry, args, cwd, timeoutMs) {
|
||||
const cfg = ctx.cfg;
|
||||
if (cfg && rexec.isRemote(cfg)) {
|
||||
@@ -314,18 +315,23 @@ async function runSkill(ctx, skillName, inputArgs) {
|
||||
const runSh = path.join(dir, 'run.sh');
|
||||
if (fs.existsSync(runPy)) {
|
||||
// PYTHONPATH 已指向共享 deps,直接走系统 python3。
|
||||
// 入口一律用绝对路径:远端 cwd 是会话目录,相对的 'run.py' 会找不到。
|
||||
entry = 'python3';
|
||||
cmdArgs = ['run.py', payload];
|
||||
cmdArgs = [runPy, payload];
|
||||
} else if (fs.existsSync(runSh)) {
|
||||
entry = 'bash';
|
||||
cmdArgs = ['run.sh', payload];
|
||||
cmdArgs = [runSh, payload];
|
||||
} else {
|
||||
throw new SkillExecutionError('技能 ' + skillName + ' 缺少入口 run.py 或 run.sh', 1);
|
||||
}
|
||||
|
||||
// cwd:远端取会话目录(executor 侧命中 session 隔离,技能看到的 /workspace/tasks/<sid>
|
||||
// 与 core 侧是同一份数据,absolutizeArgs 产出的绝对路径因此有效);缺 taskDir 时退回
|
||||
// 技能目录(退化为旧行为)。本地无隔离诉求,仍以技能目录为 cwd。
|
||||
const execCwd = rexec.isRemote(ctx.cfg) ? (ctx.taskDir || dir) : dir;
|
||||
const timeoutMs = (ctx.cfg && ctx.cfg.skills && ctx.cfg.skills.timeout_ms) || 120000;
|
||||
log.info('skills', '执行 ' + skillName + ':' + entry + ' ' + cmdArgs.join(' '));
|
||||
return runEntry(ctx, entry, cmdArgs, dir, timeoutMs);
|
||||
log.info('skills', '执行 ' + skillName + ':' + entry + ' ' + cmdArgs.join(' ') + '(cwd=' + execCwd + ')');
|
||||
return runEntry(ctx, entry, cmdArgs, execCwd, timeoutMs);
|
||||
}
|
||||
|
||||
module.exports = { listSkills, getSkillInfo, runSkill, skillsRoot, parseFrontMatter, extractDescription, formatSkillListForPrompt };
|
||||
@@ -1,22 +1,47 @@
|
||||
// 集成测试:core 的 terminal 工具 / runSkill 走远端 executor(同机起 executor 于 19000)。
|
||||
// 需要 Linux + CAP_SYS_ADMIN:executor 隔离用 unshare/mount,macOS 上无法运行。
|
||||
//
|
||||
// 拓扑模拟两个容器共享同一份宿主机任务目录:
|
||||
// REAL (/ISO/<sid>) —— 宿主机真实会话数据(等价 compose 的 ./tasks/<sid>)
|
||||
// VIRT (ROOTS/tasks/<sid>) —— core 与 executor ns 里看到的虚拟会话路径
|
||||
// session 模式下 wrapper 会遮 ROOTS/tasks 再把 REAL bind 到 VIRT,故断言写盘要查 REAL。
|
||||
const path = require('path');
|
||||
const fs = require('fs');
|
||||
const os = require('os');
|
||||
|
||||
const ROOT = path.resolve(__dirname, '..', '..'); // agent 仓库根
|
||||
const TMP = path.join(ROOT, 'app/test/tmp/remote-exec');
|
||||
const TASK = path.join(TMP, 'task');
|
||||
const SKILLS = path.join(TMP, 'skills');
|
||||
const ROOTS = path.join(TMP, 'ws'); // EXECUTOR_ROOTS
|
||||
const TASKS = path.join(ROOTS, 'tasks'); // EXECUTOR_CWD(虚拟任务根)
|
||||
const SKILLS = path.join(ROOTS, 'skills');
|
||||
const SID = 'sess1';
|
||||
const VIRT = path.join(TASKS, SID); // core 侧会话目录(虚拟路径)
|
||||
// ISOLATION_BASE 与 ROOTS 无父子关系;其父目录 MNTROOT 是独立目录,遮盖不会波及 ROOTS/系统 /tmp。
|
||||
const ISOROOT = fs.mkdtempSync(path.join(os.tmpdir(), 'agent-exec-iso-'));
|
||||
const ISO = path.join(ISOROOT, 'host-tasks');
|
||||
const REAL = path.join(ISO, SID); // 宿主机真实会话数据
|
||||
|
||||
fs.rmSync(TMP, { recursive: true, force: true });
|
||||
fs.mkdirSync(TASK, { recursive: true });
|
||||
fs.mkdirSync(VIRT, { recursive: true });
|
||||
fs.mkdirSync(REAL, { recursive: true });
|
||||
fs.mkdirSync(path.join(SKILLS, 'echo'), { recursive: true });
|
||||
fs.writeFileSync(path.join(SKILLS, 'echo/SKILL.md'), '---\ndescription: 回显参数\n---\n回显\n');
|
||||
fs.writeFileSync(path.join(SKILLS, 'echo/run.sh'), '#!/bin/sh\necho "payload=$1"\necho "pp=$PYTHONPATH"\n');
|
||||
// 文件读写技能:验证技能进程在会话隔离视图里能按 absolutizeArgs 产出的绝对路径读/写会话数据。
|
||||
fs.mkdirSync(path.join(SKILLS, 'fileio'), { recursive: true });
|
||||
fs.writeFileSync(path.join(SKILLS, 'fileio/SKILL.md'), '---\ndescription: 文件读写\n---\n');
|
||||
fs.writeFileSync(path.join(SKILLS, 'fileio/run.sh'),
|
||||
'#!/bin/sh\nPAYLOAD="$1" node -e \'const fs=require("fs");const a=JSON.parse(process.env.PAYLOAD);' +
|
||||
'fs.writeFileSync(a.output,fs.readFileSync(a.input,"utf8").toUpperCase());console.log("OK "+a.output);\'\n');
|
||||
|
||||
// 1) executor 服务进程内启动
|
||||
process.env.PORT = '19000';
|
||||
process.env.EXECUTOR_ROOTS = TMP;
|
||||
process.env.EXECUTOR_CWD = TASK;
|
||||
process.env.EXECUTOR_ROOTS = ROOTS;
|
||||
process.env.EXECUTOR_CWD = TASKS;
|
||||
process.env.EXECUTOR_ISOLATION_BASE = ISO;
|
||||
process.env.EXECUTOR_SKILLS_DIR = SKILLS;
|
||||
delete process.env.EXECUTOR_URL; delete process.env.EXECUTOR_TOKEN;
|
||||
delete process.env.EXECUTOR_LOG_LEVEL;
|
||||
require(path.join(ROOT, 'executor/server.js'));
|
||||
|
||||
// 2) core 侧模块
|
||||
@@ -27,7 +52,7 @@ const skills = require(path.join(ROOT, 'app/server/tools/skills'));
|
||||
const yml = (extra) => 'platforms:\n - url: https://a.com/v1\n keys:\n - models:\n - id: m1\nexecutor:\n url: "http://127.0.0.1:19000"\n' + extra;
|
||||
function mkCtx(cfgExtra) {
|
||||
const cfg = loadConfigFromText(yml(cfgExtra), '');
|
||||
return { cfg, taskDir: TASK, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } };
|
||||
return { cfg, sessionId: SID, taskDir: VIRT, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } };
|
||||
}
|
||||
let failed = 0;
|
||||
const check = (n, c, e) => { console.log((c ? 'PASS' : 'FAIL') + ' ' + n + (c || !e ? '' : ' → ' + e)); if (!c) failed++; };
|
||||
@@ -36,12 +61,13 @@ const sleep = ms => new Promise(r => setTimeout(r, ms));
|
||||
async function main() {
|
||||
await sleep(200);
|
||||
|
||||
// --- terminal:基本输出 / 退出码 / 文件落在共享目录 ---
|
||||
// --- terminal:基本输出 / 退出码 / 文件落在真实会话目录(隔离视图写穿回宿主机)---
|
||||
let ctx = mkCtx('');
|
||||
check('executor.url 生效', ctx.cfg.executor.url === 'http://127.0.0.1:19000', ctx.cfg.executor.url);
|
||||
let r = await toolExec.executeTool(ctx, 'terminal', { command: 'echo 远程ok; pwd; echo data > out.txt' });
|
||||
check('输出含远端结果', r.includes('远程ok') && r.includes(TASK) && r.includes('[exit code: 0]'), r);
|
||||
check('文件写入共享目录', fs.existsSync(path.join(TASK, 'out.txt')));
|
||||
check('输出含远端结果且 cwd 为虚拟会话路径', r.includes('远程ok') && r.includes(VIRT) && r.includes('[exit code: 0]'), r);
|
||||
check('文件写入真实会话目录', fs.existsSync(path.join(REAL, 'out.txt')));
|
||||
check('虚拟路径本身未被写穿(隔离生效)', !fs.existsSync(path.join(VIRT, 'out.txt')));
|
||||
|
||||
// --- 非零退出码 ---
|
||||
r = await toolExec.executeTool(ctx, 'terminal', { command: 'exit 7' });
|
||||
@@ -70,7 +96,7 @@ async function main() {
|
||||
const h = await (await fetch('http://127.0.0.1:19000/health')).json();
|
||||
check('executor 无残留进程', h.running.length === 0, JSON.stringify(h.running));
|
||||
|
||||
// --- runSkill:入口脚本 + JSON payload 引号 + PYTHONPATH ---
|
||||
// --- runSkill:入口脚本 + JSON payload 引号 + PYTHONPATH(cwd 落在会话目录)---
|
||||
ctx = mkCtx('skills:\n skills_root: "' + SKILLS + '"\n');
|
||||
const msg = "带 空格 和'单引号' 与\"双引号\"及中文";
|
||||
let sr = await skills.runSkill(ctx, 'echo', { msg });
|
||||
@@ -78,10 +104,17 @@ async function main() {
|
||||
check('runSkill 远端执行成功', sr.includes(want), sr);
|
||||
check('PYTHONPATH 指向共享 deps', sr.includes('pp=' + path.join(SKILLS, 'deps')), sr);
|
||||
|
||||
// --- runSkill 文件读写:绝对路径在会话隔离视图里可用(修复的核心回归点)---
|
||||
fs.writeFileSync(path.join(REAL, 'in.txt'), 'hello');
|
||||
sr = await skills.runSkill(ctx, 'fileio', { input: 'in.txt', output: 'out.txt' });
|
||||
check('技能读到会话输入文件并成功执行', sr.includes('OK ' + path.join(VIRT, 'out.txt')), sr);
|
||||
check('技能输出写回真实会话目录且内容正确',
|
||||
fs.existsSync(path.join(REAL, 'out.txt')) && fs.readFileSync(path.join(REAL, 'out.txt'), 'utf8') === 'HELLO');
|
||||
|
||||
// --- 传输失败:executor 不可达 ---
|
||||
const ymlBad = 'platforms:\n - url: https://a.com/v1\n keys:\n - models:\n - id: m1\nexecutor:\n url: "http://127.0.0.1:19999"\n';
|
||||
const cfgBad = loadConfigFromText(ymlBad, '');
|
||||
const ctxBad = { cfg: cfgBad, taskDir: TASK, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } };
|
||||
const ctxBad = { cfg: cfgBad, sessionId: SID, taskDir: VIRT, run: { cancelled: false, procs: new Set(), abortController: null, looping: false } };
|
||||
let threw = '';
|
||||
try { await toolExec.executeTool(ctxBad, 'terminal', { command: 'echo x' }); } catch (e) { threw = e.message; }
|
||||
check('不可达时报错而非静默', threw.includes('executor 调用失败'), threw);
|
||||
|
||||
@@ -270,6 +270,7 @@ stateDiagram-v2
|
||||
- `.deps_installed` 标记文件记录两份 hash,变化才重装。
|
||||
- `runSkill` 流程:`skillDir` 校验 → `absolutizeArgs`(按任务目录 + 启发式判断路径类参数) → `validateArgs`(按 front matter `input_schema.required`) → `ensureDeps` → 选 `python3 run.py '<json>'` 或 `bash run.sh '<json>'` → `runEntry`。
|
||||
- **走 executor**:命令拼成 `shq` 转义后的单条 shell 行(`shellLine`),env 只传 `PYTHONPATH=<deps_root>`。
|
||||
- **cwd 分两类**:`run_skill` 传会话任务目录(`ctx.taskDir`),命中 executor 的 session 隔离与虚拟视图,技能在 `/workspace/tasks/<sid>` 看到的就是本会话数据,`absolutizeArgs` 产出的绝对路径因此有效;入口脚本一律用绝对路径(cwd 已不是技能目录)。`ensureDeps` 的安装命令仍传技能目录(依赖是技能私有资源,且 skills 为 `:ro`,运行期不应安装)。
|
||||
|
||||
### 5.6 `remote-exec.js` —— 远端 executor 客户端
|
||||
|
||||
@@ -354,7 +355,7 @@ stateDiagram-v2
|
||||
| `EXECUTOR_TOKEN` | 空 | 可选 Bearer 鉴权 |
|
||||
| `EXECUTOR_LOG_LEVEL` | `info` | 分级日志(debug 打满请求/响应交互) |
|
||||
|
||||
**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如 skill 入口跑在技能目录)不隔离直接 spawn。wrapper 同时 `unshare --pid --fork` 进新 pid ns 并重挂 /proc(flags 对齐 docker):否则 /proc 仍是宿主视图,`nsenter --mount=/proc/1/ns/mnt` 可借 executor 主进程的 ns 句柄逃逸回原始 mount ns(已实测复现过);重挂后 /proc/1 即命令自身。新 proc 可写会顶掉 docker 防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 宿主逃逸)、/dev/null 遮蔽 kcore/keys/sysrq-trigger(echo b 可重启宿主机)。wrapper 还把 server.js 所在目录(镜像 WORKDIR,容器内 `/app`)tmpfs 盖掉(任务根与之嵌套的开发态跳过);且下发命令的 env 剥掉 `EXECUTOR_TOKEN`——否则 `env` 一 dump 即得 token,可从容器内回环调 `/exec` 以任意会话目录起命令,绕过隔离。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。
|
||||
**per-task 挂载隔离**(`server.js` 的 `isolatedCommand`):cwd 在任务根(`EXECUTOR_CWD`)严格之下的命令,spawn 时包一层 wrapper,在新的 mount namespace 里把任务根覆盖为 tmpfs、只把当前会话根(第一层子目录)bind 回原路径——AI 只能看到/改自己的项目,看不到别的会话;cwd 恰为任务根被 /exec 边界直接拒 400(见上);cwd 在任务根外(如技能依赖安装跑在技能目录)不隔离直接 spawn(/mnt 仍被遮,看不到任何会话数据)。wrapper 同时 `unshare --pid --fork` 进新 pid ns 并重挂 /proc(flags 对齐 docker):否则 /proc 仍是宿主视图,`nsenter --mount=/proc/1/ns/mnt` 可借 executor 主进程的 ns 句柄逃逸回原始 mount ns(已实测复现过);重挂后 /proc/1 即命令自身。新 proc 可写会顶掉 docker 防护,wrapper 逐项还原:/proc/sys 只读 bind(防 core_pattern 宿主逃逸)、/dev/null 遮蔽 kcore/keys/sysrq-trigger(echo b 可重启宿主机)。wrapper 还把 server.js 所在目录(镜像 WORKDIR,容器内 `/app`)tmpfs 盖掉(任务根与之嵌套的开发态跳过);且下发命令的 env 剥掉 `EXECUTOR_TOKEN`——否则 `env` 一 dump 即得 token,可从容器内回环调 `/exec` 以任意会话目录起命令,绕过隔离。需 compose 配 `cap_add: SYS_ADMIN` + `security_opt: apparmor=unconfined`(不用 privileged:实测 Docker 29,默认 AppArmor profile 拦 `mount(2)`,单加 SYS_ADMIN 不够;默认 seccomp 对持 CAP_SYS_ADMIN 的进程放行 `unshare(2)`/`mount(2)`,无需改动);`unshare`/`mount`/`mktemp` 来自 debian 基础包 util-linux。
|
||||
|
||||
**资源护栏**(compose 层,**不在 server.js**):
|
||||
`cpus 2.0` / `mem_limit 2g` / `pids_limit 512` / `ulimits.fsize 2G` —— 防 AI 失控命令。残余缺口(只限单文件不限总量)在 compose 注释里已标。
|
||||
|
||||
+5
-1
@@ -167,7 +167,9 @@ Skill Manager 会为每个技能生成一个 `.deps_installed` 标记文件,
|
||||
|
||||
Agent 调用技能时,传入的文件路径可能是相对路径(相对于任务目录)。Skill Manager 会在执行前自动将相对路径转换为绝对路径,因此**技能脚本无需关心路径解析**,直接使用传入的路径即可。但请注意:
|
||||
|
||||
- 如果技能内部需要引用其他文件(如模板、字体),请使用基于脚本所在目录的绝对路径(`os.path.dirname(__file__)`)。
|
||||
- **运行时的工作目录是「会话任务目录」,不是技能目录**(远端模式下即 executor 隔离视图里的 `/workspace/tasks/<会话>`)。技能进程只能看到当前会话的数据,看不到其他会话。
|
||||
- 因此技能内部引用**自身资源**(模板、字体、配置等)时,**必须**基于脚本位置取绝对路径,不要依赖 cwd:Python 用 `Path(__file__).resolve().parent`,Shell 用 `"$(dirname "$0")"`。
|
||||
- 读写会话数据用 `input_args` 里传入的路径即可;相对路径会被预转绝对路径,且在隔离视图里与 Agent 看到的是同一份数据。
|
||||
|
||||
---
|
||||
|
||||
@@ -191,6 +193,8 @@ cd skills/my-skill
|
||||
python3 run.py '{"input": "/path/to/test", "output": "/tmp/out"}'
|
||||
```
|
||||
|
||||
> 注意:手工调试时的 cwd 是技能目录,而**线上运行的 cwd 是会话任务目录**(见第 6 节)。所以脚本对自身资源的引用要用 `__file__`/`$0` 定位,手工调试才能与线上行为一致。
|
||||
|
||||
如果需要测试依赖安装,可以删除 `.deps_installed` 和 `deps/` 目录后重新执行。
|
||||
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user