技能依赖层收敛:agent-executor-init 逐行离线探测,只把镜像缺的包装进 deps 外挂层(PYTHONPATH 上移到 executor 容器 env 并放行白名单,技能与 AI 终端都可见,无需 rebuild);core 删除 ensureDeps/execSyncCapture/marker 读写等全部安装逻辑;同步 ARCHITECTURE 与 skills README

This commit is contained in:
2026-09-16 12:19:02 +08:00
parent 6969c5d949
commit 5f04e9375a
6 changed files with 71 additions and 139 deletions
+40 -8
View File
@@ -2,14 +2,13 @@
// agent-executor-init:executor 启动前的一次性技能准备。
//
// 只处理“运行期可变”的依赖:
// - requirements.txt → python3 -m pip install --target <skills>/deps -r ...
// - requirements.txt → 先离线探测(镜像预烘包优先),只把缺失的装进 <skills>/deps
// - install.sh → 在技能目录执行(生成技能自带资产,如从系统字体提取 cjk.ttf)
// 系统层依赖(apt 等)不在这里做——那部分由派生镜像 M'(executor/Dockerfile 的 skills 阶段)
// 承载,才持久且对命令只读。
// 承载,才持久且对命令只读(本容器根文件系统 read_only,系统层也写不进去)。
//
// 无特权:不做任何 mount;只挂 ./skills(不挂 ./tasks),因此看不到任何会话数据。
// 幂等:按 requirements.txt/install.sh 的内容 hash(与 core 的 ensureDeps 同格式)比对
// .deps_installed,命中即跳过。
// 幂等:按 requirements.txt/install.sh 的内容 hash 比对 .deps_installed,命中即跳过。
// 退出码恒为 0:单个技能失败只告警,不阻断 executor 启动(该技能暂不可用,其余照常)。
'use strict';
const fs = require('fs');
@@ -25,18 +24,41 @@ function log() {
console.log('[' + new Date().toISOString() + '] [skills-init]', ...args);
}
// 与 core(app/server/tools/skills.js 的 hashFile/ensureDeps)保持完全一致的 hash 与 marker 格式。
// hash 与 marker 格式沿用原 core 实现(req:<sha1>|install:<sha1>),以便复用宿主上已有的 .deps_installed。
function hashFile(p) {
try { return crypto.createHash('sha1').update(fs.readFileSync(p)).digest('hex'); } catch (_) { return ''; }
}
// 技能子进程的依赖可见性:与运行期一致(运行期由 compose 把同一个 deps 目录放进 executor 的 PYTHONPATH)。
function skillEnv() {
const existing = process.env.PYTHONPATH;
return Object.assign({}, process.env, { PYTHONPATH: existing ? DEPS + ':' + existing : DEPS });
}
function run(cmd, args, cwd) {
log('run:', cmd, args.join(' '), '(cwd=' + cwd + ')');
const r = spawnSync(cmd, args, { cwd, stdio: 'inherit', env: process.env });
const r = spawnSync(cmd, args, { cwd, stdio: 'inherit', env: skillEnv() });
if (r.error) { log('spawn 失败:' + r.error.message); return false; }
return r.status === 0;
}
// requirements 逐行解析:去掉注释与空行
function reqLines(p) {
try {
return fs.readFileSync(p, 'utf8').split('\n')
.map(l => l.replace(/#.*$/, '').trim())
.filter(Boolean);
} catch (_) { return []; }
}
// 离线探测一行依赖是否已可用(镜像预烘包优先,其次已在外挂层):
// --no-index 只对当前环境求值、不联网;--dry-run 不写盘。exit 0 = 已满足。
function satisfied(line, cwd) {
const r = spawnSync('python3', ['-m', 'pip', 'install', '--no-index', '--dry-run', line],
{ cwd, env: skillEnv(), stdio: 'pipe', encoding: 'utf8' });
return r.status === 0;
}
function initSkill(name) {
const dir = path.join(ROOT, name);
const reqPath = path.join(dir, 'requirements.txt');
@@ -58,8 +80,18 @@ function initSkill(name) {
let ok = true;
try {
if (hasReq) {
fs.mkdirSync(DEPS, { recursive: true });
ok = run('python3', ['-m', 'pip', 'install', '--no-cache-dir', '--target', DEPS, '-r', reqPath], dir) && ok;
const lines = reqLines(reqPath);
const missing = lines.filter(l => !satisfied(l, dir));
if (!missing.length) {
log('依赖全部已满足(镜像/外挂层),跳过 pip:' + name);
} else {
log('缺失依赖装入外挂层(' + missing.length + '/' + lines.length + '):' + missing.join(', '));
fs.mkdirSync(DEPS, { recursive: true });
// --upgrade:外挂层已有旧版本时允许覆盖(--target 默认遇同名文件只告警不替换)
ok = run('python3', ['-m', 'pip', 'install', '--no-cache-dir', '--upgrade', '--target', DEPS].concat(missing), dir) && ok;
const still = missing.filter(l => !satisfied(l, dir));
if (still.length) { log('安装后仍缺失:' + still.join(', ')); ok = false; }
}
}
if (hasInstall) {
ok = run('bash', ['install.sh'], dir) && ok;
+2 -2
View File
@@ -515,9 +515,9 @@ async function handleExec(req, res) {
if (!isFinite(maxChars) || maxChars <= 0) maxChars = DEFAULT_MAX_OUT;
maxChars = Math.min(maxChars, DEFAULT_MAX_OUT);
// 环境变量白名单
// 环境变量白名单(AI 命令与技能子进程共用;PYTHONPATH 用于技能依赖外挂层)
const env = {};
for (const key of ['PATH', 'HOME', 'LANG', 'LC_ALL', 'TZ', 'PYTHONUNBUFFERED',
for (const key of ['PATH', 'HOME', 'LANG', 'LC_ALL', 'TZ', 'PYTHONUNBUFFERED', 'PYTHONPATH',
'PYTHONDONTWRITEBYTECODE', 'PYTHONPYCACHEPREFIX', 'MPLBACKEND']) {
if (process.env[key]) env[key] = process.env[key];
}