data-page技能+服务端承载:①executor抽出runTaskSql统一SQL执行核心(db工具exec/query与HTTP API共用,prepare挡多语句/reader读写分流/BEGIN事务/DDL判定单一事实源;读取iterate到量截断防大表SELECT*物化OOM,工具超限给截断信封、API超限报error引导分页,query信封不再报total_rows)②新路由/app/{task_id}/静态托管任务app/子树(index兜底、不给列目录)+POST /api/db/{task_id}/query任意单语句,失败200+{error}按SKILL.md契约,挂登录态后、不加CORS头③技能run.py幂等复制templates到app/templates(dest由manager预转绝对路径防本地模式cwd落技能目录),SKILL.md补front matter(op=list描述+input_schema)与lastInsertRowid示例

This commit is contained in:
2026-09-23 22:59:52 +08:00
parent c2fcbd9b48
commit 1addf0d95d
8 changed files with 966 additions and 27 deletions
+72
View File
@@ -0,0 +1,72 @@
// data-page 技能的服务端承载,两条通道(配套 skills/data-page/SKILL.md 的契约):
// 1. GET /app/{task_id}/... —— 静态托管任务目录的 app/ 子树(index.html 兜底,不给列目录);
// 只暴露 app/ 而非整个任务目录,其余任务文件不从 URL 泄漏。
// 2. POST /api/db/{task_id}/query —— 任务 data.db 的 SQL API(页面前端 fetch 调):任意单语句,
// 执行核心与 db 工具共用 runTaskSql(executor.js),语义单一事实源。
// 认证:挂在 server.js 的 auth.middleware 之后——信任模型与 files 路由一致(登录 ≈ 运维,可跨会话)。
// 刻意不加任何 CORS 头:跨站 application/json POST 会被预检挡下,不带 cookie 的匿名页也调不动。
// 响应契约(SKILL.md 原文):SELECT→行数组;写→{rowsAffected,lastInsertRowid};DDL→{ok:true};
// 失败→HTTP 200 + {error}(前端统一查 error 字段)。会话/路径级错误才用 4xx。
const express = require('express');
const fs = require('fs');
const path = require('path');
const engine = require('../engine');
const { resolveInTask, runTaskSql } = require('../tools/executor');
// 页面忘写 LIMIT 的服务端兜底:iterate 到量即停(不全量物化),超限报错引导分页。
const API_MAX_ROWS = 2000;
const router = express.Router();
function notFound(res, msg) {
res.status(404).json({ error: msg });
}
// ---------- /app/{task_id}/...:任务 app/ 子树静态托管 ----------
router.use('/app', (req, res) => {
try {
const segs = req.path.replace(/^\/+/, '').split('/');
const sessionId = segs[0];
if (!sessionId) return notFound(res, '会话不存在');
if (!engine.getSession(sessionId)) return notFound(res, '会话不存在');
const appRoot = path.join(engine.taskDirOf(sessionId), 'app');
let abs;
try {
abs = resolveInTask(appRoot, segs.slice(1).join('/') || 'index.html'); // 越界即挡,限 app/ 子树
} catch (_) {
return notFound(res, '非法路径');
}
let st;
try { st = fs.statSync(abs); } catch (_) { return notFound(res, '页面不存在'); }
if (st.isDirectory()) {
abs = path.join(abs, 'index.html'); // 目录请求补 index.html,仍无则 404
try { st = fs.statSync(abs); } catch (_) { return notFound(res, '页面不存在'); }
}
if (!st.isFile()) return notFound(res, '页面不存在');
res.sendFile(abs, err => {
if (err && !res.headersSent) notFound(res, '页面不存在');
});
} catch (err) {
if (!res.headersSent) res.status(400).json({ error: (err && err.message) || String(err) });
}
});
// ---------- POST /api/db/{task_id}/query:任务 data.db 的 SQL API ----------
router.post('/api/db/:id/query', (req, res) => {
if (!engine.getSession(req.params.id)) return notFound(res, '会话不存在');
const body = req.body || {};
let r;
try {
r = runTaskSql(engine.taskDirOf(req.params.id), String(body.sql || ''), body.params, 'any', API_MAX_ROWS);
} catch (err) {
// SQL 语义错误走 200 + {error}(SKILL.md 契约:前端只查 error 字段,不分状态码)
return res.json({ error: (err && err.message) || String(err) });
}
if (r.kind === 'read') {
if (r.overflow) return res.json({ error: '结果超过 ' + API_MAX_ROWS + ' 行,请加 LIMIT/OFFSET 分页' });
return res.json(r.rows);
}
return res.json(r.out);
});
module.exports = router;
+3
View File
@@ -51,6 +51,9 @@ app.use('/api/skills', require('./routes/skills'));
app.use('/api/config', require('./routes/config'));
app.use('/api/platforms', require('./routes/platforms'));
app.use('/api/system', require('./routes/system'));
// data-page 技能配套:任务 app/ 子树页面向导 /app/{task_id}/ + 数据 API /api/db/{task_id}/query。
// 随其余业务路由一样挂在 auth.middleware 之后(登录态才能访问)。
app.use(require('./routes/data-page'));
// 模型池状态(前端可展示空闲/占用)+ 每模型 token 用量(今日/累计,输入/输出分开)。
// 从生效配置补齐平台维度字段(platform/mid/vision/type + 平台 key 数 key_count):
+63 -27
View File
@@ -814,16 +814,20 @@ function toolScheduleTask(ctx, args) {
// 列名先对 sqlite_master 真实列校验再 quoteIdent 转义,值全部走 ? 绑定。
// update/delete 不做结构化 op(单行 SQL 本身简单、错误率低,且 AND 等值 where 表达力
// 不够还要回退 exec):继续走 exec,入口不拦写语句,兑底通道保持全能力。
// runTaskSql 是本工具与 routes/data-page.js(/api/db/{task_id}/query,页面前端调)共用的
// 唯一 SQL 执行入口:prepare/读写分流/事务/DDL 判定两处同一事实源,不漂移。
const DB_MAX_ROWS = 500; // query 行数上限(docs 要求:防爆上下文)
const DB_MAX_BYTES = 100 * 1024; // query 序列化字节上限
function openTaskDb(ctx) {
fs.mkdirSync(ctx.taskDir, { recursive: true });
const db = new Database(path.join(ctx.taskDir, 'data.db'));
function openTaskDbAt(taskDir) {
fs.mkdirSync(taskDir, { recursive: true });
const db = new Database(path.join(taskDir, 'data.db'));
db.pragma('busy_timeout = 5000');
return db;
}
function openTaskDb(ctx) { return openTaskDbAt(ctx.taskDir); }
// better-sqlite3 不接受 boolean/array/object 绑定;JSON 世界 true/false ↔ SQLite 0/1 是强约定。
// 所有进入绑定位的值(params / rows / set / where)统一过这里。
function dbValue(v, label) {
@@ -871,10 +875,11 @@ function jsonSafeRows(rows) {
}
// 500 行 / 100KB 双上限:未超限返回裸数组;超限改 {rows,...} 信封并附截断说明。
function renderQueryResult(rows) {
// overflow 由 runTaskSql 的行数截断给出(总行数不再探得,故信封只报 returned_rows 不报 total);
// 字节线在此再收。
function renderQueryResult(rows, overflow) {
let shown = rows;
let truncated = shown.length > DB_MAX_ROWS;
if (truncated) shown = shown.slice(0, DB_MAX_ROWS);
let truncated = !!overflow;
if (Buffer.byteLength(JSON.stringify(shown, null, 2)) > DB_MAX_BYTES) {
truncated = true;
let bytes = 4; // "[\n]"
@@ -891,12 +896,58 @@ function renderQueryResult(rows) {
return JSON.stringify({
rows: shown,
returned_rows: shown.length,
total_rows: rows.length,
truncated: true,
note: '结果已截断(上限 ' + DB_MAX_ROWS + ' 行或 ' + Math.floor(DB_MAX_BYTES / 1024) + ' KB)。用 WHERE 收窄列/行,或 LIMIT/OFFSET 分页。',
}, null, 2);
}
// 任务库单语句执行的统一入口。mode:'read' 只许读(op=query)| 'write' 只许写(op=exec)|
// 'any' 按 stmt.reader 自动分流(HTTP API,SKILL.md 契约:任意单语句)。
// maxRows>0 时读取走 iterate 到量即停(防大表 SELECT * 全量物化),overflow 处置交调用方:
// 工具截断成信封,API 直接报错引导分页。错误一律抛出,不在此层包装返回形态。
function runTaskSql(taskDir, sql, params, mode, maxRows) {
const text = String(sql || '').trim();
if (!text) throw new Error('db: sql 不能为空');
const db = openTaskDbAt(taskDir);
try {
const stmt = db.prepare(text); // 多语句在此抛错(堆叠注入入口即挡)
const bound = sanitizeDbParams(params);
if (stmt.reader) {
if (mode === 'write') throw new Error('db: op=exec 收到只读语句,读取请用 op=query');
const rows = [];
let overflow = false;
if (maxRows > 0) {
const it = stmt.iterate(...bound);
try {
for (const r of it) {
if (rows.length >= maxRows) { overflow = true; break; }
rows.push(r);
}
} finally { try { it.return(); } catch (_) {} }
} else {
for (const r of stmt.all(...bound)) rows.push(r);
}
return { kind: 'read', rows: jsonSafeRows(rows), overflow };
}
if (mode === 'read') throw new Error('db: op=query 只允许读语句(SELECT 等),写操作请用 op=exec');
db.exec('BEGIN');
try {
const info = stmt.run(...bound);
db.exec('COMMIT');
const verb = text.split(/\s+/)[0].toLowerCase();
const out = (verb === 'create' || verb === 'alter' || verb === 'drop')
? { ok: true }
: { rowsAffected: info.changes, lastInsertRowid: Number(info.lastInsertRowid) };
return { kind: 'write', out };
} catch (err) {
try { db.exec('ROLLBACK'); } catch (_) {}
throw err;
}
} finally {
try { db.close(); } catch (_) {}
}
}
function toolDb(ctx, args) {
const op = String(args.op || '').trim().toLowerCase();
const sql = String(args.sql || '').trim();
@@ -907,28 +958,13 @@ function toolDb(ctx, args) {
switch (op) {
case 'exec': {
if (!sql) throw new Error('db: op=exec 缺少必填参数 sql');
db = openTaskDb(ctx);
const stmt = db.prepare(sql); // 多语句在此抛错
if (stmt.reader) throw new Error('db: op=exec 收到只读语句,读取请用 op=query');
const params = sanitizeDbParams(args.params);
db.exec('BEGIN');
try {
const info = stmt.run(...params);
db.exec('COMMIT');
const verb = sql.split(/\s+/)[0].toLowerCase();
if (verb === 'create' || verb === 'alter' || verb === 'drop') return JSON.stringify({ ok: true });
return JSON.stringify({ rowsAffected: info.changes, lastInsertRowid: Number(info.lastInsertRowid) });
} catch (err) {
try { db.exec('ROLLBACK'); } catch (_) {}
throw err;
}
const r = runTaskSql(ctx.taskDir, sql, args.params, 'write', 0);
return JSON.stringify(r.out);
}
case 'query': {
if (!sql) throw new Error('db: op=query 缺少必填参数 sql');
db = openTaskDb(ctx);
const stmt = db.prepare(sql);
if (!stmt.reader) throw new Error('db: op=query 只允许读语句(SELECT 等),写操作请用 op=exec');
return renderQueryResult(jsonSafeRows(stmt.all(...sanitizeDbParams(args.params))));
const r = runTaskSql(ctx.taskDir, sql, args.params, 'read', DB_MAX_ROWS);
return renderQueryResult(r.rows, r.overflow);
}
case 'insert': {
if (!table) throw new Error('db: op=insert 缺少必填参数 table');
@@ -1084,4 +1120,4 @@ async function executeTool(baseCtx, name, args) {
return 'Error: 未知工具 ' + name;
}
module.exports = { executeTool, resolveInTask, recordFile };
module.exports = { executeTool, resolveInTask, recordFile, runTaskSql };