技能依赖层收敛:agent-executor-init 逐行离线探测,只把镜像缺的包装进 deps 外挂层(PYTHONPATH 上移到 executor 容器 env 并放行白名单,技能与 AI 终端都可见,无需 rebuild);core 删除 ensureDeps/execSyncCapture/marker 读写等全部安装逻辑;同步 ARCHITECTURE 与 skills README
This commit is contained in:
+40
-8
@@ -2,14 +2,13 @@
|
||||
// agent-executor-init:executor 启动前的一次性技能准备。
|
||||
//
|
||||
// 只处理“运行期可变”的依赖:
|
||||
// - requirements.txt → python3 -m pip install --target <skills>/deps -r ...
|
||||
// - requirements.txt → 先离线探测(镜像预烘包优先),只把缺失的装进 <skills>/deps
|
||||
// - install.sh → 在技能目录执行(生成技能自带资产,如从系统字体提取 cjk.ttf)
|
||||
// 系统层依赖(apt 等)不在这里做——那部分由派生镜像 M'(executor/Dockerfile 的 skills 阶段)
|
||||
// 承载,才持久且对命令只读。
|
||||
// 承载,才持久且对命令只读(本容器根文件系统 read_only,系统层也写不进去)。
|
||||
//
|
||||
// 无特权:不做任何 mount;只挂 ./skills(不挂 ./tasks),因此看不到任何会话数据。
|
||||
// 幂等:按 requirements.txt/install.sh 的内容 hash(与 core 的 ensureDeps 同格式)比对
|
||||
// .deps_installed,命中即跳过。
|
||||
// 幂等:按 requirements.txt/install.sh 的内容 hash 比对 .deps_installed,命中即跳过。
|
||||
// 退出码恒为 0:单个技能失败只告警,不阻断 executor 启动(该技能暂不可用,其余照常)。
|
||||
'use strict';
|
||||
const fs = require('fs');
|
||||
@@ -25,18 +24,41 @@ function log() {
|
||||
console.log('[' + new Date().toISOString() + '] [skills-init]', ...args);
|
||||
}
|
||||
|
||||
// 与 core(app/server/tools/skills.js 的 hashFile/ensureDeps)保持完全一致的 hash 与 marker 格式。
|
||||
// hash 与 marker 格式沿用原 core 实现(req:<sha1>|install:<sha1>),以便复用宿主上已有的 .deps_installed。
|
||||
function hashFile(p) {
|
||||
try { return crypto.createHash('sha1').update(fs.readFileSync(p)).digest('hex'); } catch (_) { return ''; }
|
||||
}
|
||||
|
||||
// 技能子进程的依赖可见性:与运行期一致(运行期由 compose 把同一个 deps 目录放进 executor 的 PYTHONPATH)。
|
||||
function skillEnv() {
|
||||
const existing = process.env.PYTHONPATH;
|
||||
return Object.assign({}, process.env, { PYTHONPATH: existing ? DEPS + ':' + existing : DEPS });
|
||||
}
|
||||
|
||||
function run(cmd, args, cwd) {
|
||||
log('run:', cmd, args.join(' '), '(cwd=' + cwd + ')');
|
||||
const r = spawnSync(cmd, args, { cwd, stdio: 'inherit', env: process.env });
|
||||
const r = spawnSync(cmd, args, { cwd, stdio: 'inherit', env: skillEnv() });
|
||||
if (r.error) { log('spawn 失败:' + r.error.message); return false; }
|
||||
return r.status === 0;
|
||||
}
|
||||
|
||||
// requirements 逐行解析:去掉注释与空行
|
||||
function reqLines(p) {
|
||||
try {
|
||||
return fs.readFileSync(p, 'utf8').split('\n')
|
||||
.map(l => l.replace(/#.*$/, '').trim())
|
||||
.filter(Boolean);
|
||||
} catch (_) { return []; }
|
||||
}
|
||||
|
||||
// 离线探测一行依赖是否已可用(镜像预烘包优先,其次已在外挂层):
|
||||
// --no-index 只对当前环境求值、不联网;--dry-run 不写盘。exit 0 = 已满足。
|
||||
function satisfied(line, cwd) {
|
||||
const r = spawnSync('python3', ['-m', 'pip', 'install', '--no-index', '--dry-run', line],
|
||||
{ cwd, env: skillEnv(), stdio: 'pipe', encoding: 'utf8' });
|
||||
return r.status === 0;
|
||||
}
|
||||
|
||||
function initSkill(name) {
|
||||
const dir = path.join(ROOT, name);
|
||||
const reqPath = path.join(dir, 'requirements.txt');
|
||||
@@ -58,8 +80,18 @@ function initSkill(name) {
|
||||
let ok = true;
|
||||
try {
|
||||
if (hasReq) {
|
||||
fs.mkdirSync(DEPS, { recursive: true });
|
||||
ok = run('python3', ['-m', 'pip', 'install', '--no-cache-dir', '--target', DEPS, '-r', reqPath], dir) && ok;
|
||||
const lines = reqLines(reqPath);
|
||||
const missing = lines.filter(l => !satisfied(l, dir));
|
||||
if (!missing.length) {
|
||||
log('依赖全部已满足(镜像/外挂层),跳过 pip:' + name);
|
||||
} else {
|
||||
log('缺失依赖装入外挂层(' + missing.length + '/' + lines.length + '):' + missing.join(', '));
|
||||
fs.mkdirSync(DEPS, { recursive: true });
|
||||
// --upgrade:外挂层已有旧版本时允许覆盖(--target 默认遇同名文件只告警不替换)
|
||||
ok = run('python3', ['-m', 'pip', 'install', '--no-cache-dir', '--upgrade', '--target', DEPS].concat(missing), dir) && ok;
|
||||
const still = missing.filter(l => !satisfied(l, dir));
|
||||
if (still.length) { log('安装后仍缺失:' + still.join(', ')); ok = false; }
|
||||
}
|
||||
}
|
||||
if (hasInstall) {
|
||||
ok = run('bash', ['install.sh'], dir) && ok;
|
||||
|
||||
+2
-2
@@ -515,9 +515,9 @@ async function handleExec(req, res) {
|
||||
if (!isFinite(maxChars) || maxChars <= 0) maxChars = DEFAULT_MAX_OUT;
|
||||
maxChars = Math.min(maxChars, DEFAULT_MAX_OUT);
|
||||
|
||||
// 环境变量白名单
|
||||
// 环境变量白名单(AI 命令与技能子进程共用;PYTHONPATH 用于技能依赖外挂层)
|
||||
const env = {};
|
||||
for (const key of ['PATH', 'HOME', 'LANG', 'LC_ALL', 'TZ', 'PYTHONUNBUFFERED',
|
||||
for (const key of ['PATH', 'HOME', 'LANG', 'LC_ALL', 'TZ', 'PYTHONUNBUFFERED', 'PYTHONPATH',
|
||||
'PYTHONDONTWRITEBYTECODE', 'PYTHONPYCACHEPREFIX', 'MPLBACKEND']) {
|
||||
if (process.env[key]) env[key] = process.env[key];
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user