功能:executor 镜像分层(基础 M + 技能系统层派生镜像)+ 启动前 skills 初始化

- executor/Dockerfile 改多阶段:base 为基础镜像 M(长期不变,系统工具 + 预烘 Python 包);skills 阶段 = M + 技能系统层依赖(构建期跑各 install.sh,apt 等系统包持久且对命令只读)。build context 改为仓库根,用 .dockerignore 只放行 executor/ 与 skills/。

- 新增 agent-executor-init 一次性服务(executor/init-skills.js,与 core ensureDeps 同 hash/marker 格式):启动前把 requirements.txt(pip --target 共享 deps)与 install.sh 资产落到宿主 ./skills;只挂 ./skills、无特权、read_only,跑完退出;executor depends_on service_completed_successfully。

- 运行期 skills 仍 :ro;M 不变、skills 可变、命令写不了共享系统层,会话隔离保持。

- 实测:构建 stage 两个 install.sh 正常;init 幂等跳过/按需重跑(install.sh 与 pip 分支各验一次);executor 重建后 ReadonlyRootfs=true、/run tmpfs、core 到 executor 健康、run_skill 端到端正常。docs/ARCHITECTURE.md 与 skills/README.md 同步。
This commit is contained in:
2026-09-11 23:35:17 +08:00
parent 2f96414c49
commit dbc1783b3e
6 changed files with 181 additions and 9 deletions
+31 -3
View File
@@ -1,4 +1,9 @@
FROM node:20-slim
# =============================================================================
# 基础阶段 M —— 长期不变:node + 系统工具 + 预烘 Python 依赖。
# 只承载“系统层”,不含任何技能专属依赖。构建上下文为仓库根(compose: context: .),
# 故 COPY 路径带 executor/ 前缀。
# =============================================================================
FROM node:20-slim AS base
# MPLBACKEND=Agg:让 matplotlib 使用非交互式后端,避免缺少显示设备报错。
# PYTHONUNBUFFERED=1:实时输出日志。
@@ -36,7 +41,9 @@ RUN pip3 install --no-cache-dir --break-system-packages \
# ---- executor 服务(零依赖单文件,仅 Node 内置 http)----
WORKDIR /app
COPY server.js ./
COPY executor/server.js ./
# 技能依赖准备脚本:由 agent-executor-init 服务在启动前执行(pip/资产,无特权)
COPY executor/init-skills.js ./
# 隔离用的空挂载点:必须存在且为空。
# /workspace/tasks —— wrapper 用 tmpfs 遮盖它,再 bind 回当前 session(虚拟任务根)
@@ -49,7 +56,7 @@ RUN mkdir -p /workspace/tasks /workspace/scratch \
EXPOSE 9000
# EXECUTOR_LOG_LEVEL:日志等级 debug|info|warn|error|none(默认 info)。
# debug 会把与 core 的完整交互逐条打印(请求行、/exec 请求体、每条 SSE 帧、JSON 响应)。
# debug 会把与 core 的完整交互逐条打印(请求、/exec 请求体、每条 SSE 帧、JSON 响应)。
# EXECUTOR_ISOLATION_BASE:宿主机 tasks 在本容器内的真实挂载点,必须与 compose 的 volumes 一致。
ENV PORT=9000 \
EXECUTOR_ROOTS=/workspace \
@@ -60,3 +67,24 @@ ENV PORT=9000 \
EXECUTOR_LOG_LEVEL=info
CMD ["node", "server.js"]
# =============================================================================
# 派生阶段 M' = M + 技能的“系统层”依赖(管理员增删/改动 skills 后重建这一层,M 不动)。
#
# 只取 install.sh 对系统层(/usr、/var)的作用——这部分必须烘进镜像才持久、
# 且对命令只读(会话之间互不影响)。pip 依赖与技能资产(如字体提取)写出的文件
# 随构建层丢弃,它们由 agent-executor-init 落到宿主 ./skills(重启不丢)。
#
# install.sh 属“管理员审核过的资产”;构建期以 root 执行,故仍需保持其最小化。
# compose 通过 build.target: skills 选用本阶段。
# =============================================================================
FROM base AS skills
ENV DEBIAN_FRONTEND=noninteractive
COPY skills /tmp/skills
RUN for d in /tmp/skills/*/; do \
if [ -f "$d/install.sh" ]; then \
echo "[skills] install.sh: $d"; \
( cd "$d" && bash install.sh ) || echo "[skills][WARN] install.sh 失败(系统依赖可能缺失):$d"; \
fi; \
done; \
rm -rf /tmp/skills
+92
View File
@@ -0,0 +1,92 @@
#!/usr/bin/env node
// agent-executor-init:executor 启动前的一次性技能准备。
//
// 只处理“运行期可变”的依赖:
// - requirements.txt → python3 -m pip install --target <skills>/deps -r ...
// - install.sh → 在技能目录执行(生成技能自带资产,如从系统字体提取 cjk.ttf)
// 系统层依赖(apt 等)不在这里做——那部分由派生镜像 M'(executor/Dockerfile 的 skills 阶段)
// 承载,才持久且对命令只读。
//
// 无特权:不做任何 mount;只挂 ./skills(不挂 ./tasks),因此看不到任何会话数据。
// 幂等:按 requirements.txt/install.sh 的内容 hash(与 core 的 ensureDeps 同格式)比对
// .deps_installed,命中即跳过。
// 退出码恒为 0:单个技能失败只告警,不阻断 executor 启动(该技能暂不可用,其余照常)。
'use strict';
const fs = require('fs');
const path = require('path');
const crypto = require('crypto');
const { spawnSync } = require('child_process');
const ROOT = process.env.SKILLS_ROOT || '/workspace/skills';
const DEPS = path.join(ROOT, 'deps');
function log() {
const args = Array.prototype.slice.call(arguments);
console.log('[' + new Date().toISOString() + '] [skills-init]', ...args);
}
// 与 core(app/server/tools/skills.js 的 hashFile/ensureDeps)保持完全一致的 hash 与 marker 格式。
function hashFile(p) {
try { return crypto.createHash('sha1').update(fs.readFileSync(p)).digest('hex'); } catch (_) { return ''; }
}
function run(cmd, args, cwd) {
log('run:', cmd, args.join(' '), '(cwd=' + cwd + ')');
const r = spawnSync(cmd, args, { cwd, stdio: 'inherit', env: process.env });
if (r.error) { log('spawn 失败:' + r.error.message); return false; }
return r.status === 0;
}
function initSkill(name) {
const dir = path.join(ROOT, name);
const reqPath = path.join(dir, 'requirements.txt');
const installPath = path.join(dir, 'install.sh');
const hasReq = fs.existsSync(reqPath);
const hasInstall = fs.existsSync(installPath);
if (!hasReq && !hasInstall) return;
const need = 'req:' + hashFile(reqPath) + '|install:' + hashFile(installPath);
const markerPath = path.join(dir, '.deps_installed');
try {
if (fs.existsSync(markerPath) && fs.readFileSync(markerPath, 'utf8') === need) {
log('跳过(已就绪):' + name);
return;
}
} catch (_) { /* marker 读失败按未就绪处理 */ }
log('初始化:' + name);
let ok = true;
try {
if (hasReq) {
fs.mkdirSync(DEPS, { recursive: true });
ok = run('python3', ['-m', 'pip', 'install', '--no-cache-dir', '--target', DEPS, '-r', reqPath], dir) && ok;
}
if (hasInstall) {
ok = run('bash', ['install.sh'], dir) && ok;
}
} catch (e) {
log('异常:' + name + ':' + e.message);
ok = false;
}
if (ok) {
fs.writeFileSync(markerPath, need, 'utf8');
log('就绪:' + name);
} else {
log('失败(不写 marker,下次启动重试):' + name);
}
}
(function main() {
try {
if (!fs.existsSync(ROOT)) { log('技能根目录不存在,跳过:' + ROOT); return; }
const names = fs.readdirSync(ROOT, { withFileTypes: true })
.filter(e => e.isDirectory() && e.name !== 'deps')
.map(e => e.name)
.sort();
log('技能根=' + ROOT + ',共 ' + names.length + ' 个技能');
for (const n of names) initSkill(n);
log('初始化结束');
} catch (e) {
log('顶层异常(忽略,不阻断 executor):' + e.message);
}
})();