data-page技能+服务端承载:①executor抽出runTaskSql统一SQL执行核心(db工具exec/query与HTTP API共用,prepare挡多语句/reader读写分流/BEGIN事务/DDL判定单一事实源;读取iterate到量截断防大表SELECT*物化OOM,工具超限给截断信封、API超限报error引导分页,query信封不再报total_rows)②新路由/app/{task_id}/静态托管任务app/子树(index兜底、不给列目录)+POST /api/db/{task_id}/query任意单语句,失败200+{error}按SKILL.md契约,挂登录态后、不加CORS头③技能run.py幂等复制templates到app/templates(dest由manager预转绝对路径防本地模式cwd落技能目录),SKILL.md补front matter(op=list描述+input_schema)与lastInsertRowid示例

This commit is contained in:
2026-09-23 22:59:52 +08:00
parent c2fcbd9b48
commit 1addf0d95d
8 changed files with 966 additions and 27 deletions
+63 -27
View File
@@ -814,16 +814,20 @@ function toolScheduleTask(ctx, args) {
// 列名先对 sqlite_master 真实列校验再 quoteIdent 转义,值全部走 ? 绑定。
// update/delete 不做结构化 op(单行 SQL 本身简单、错误率低,且 AND 等值 where 表达力
// 不够还要回退 exec):继续走 exec,入口不拦写语句,兑底通道保持全能力。
// runTaskSql 是本工具与 routes/data-page.js(/api/db/{task_id}/query,页面前端调)共用的
// 唯一 SQL 执行入口:prepare/读写分流/事务/DDL 判定两处同一事实源,不漂移。
const DB_MAX_ROWS = 500; // query 行数上限(docs 要求:防爆上下文)
const DB_MAX_BYTES = 100 * 1024; // query 序列化字节上限
function openTaskDb(ctx) {
fs.mkdirSync(ctx.taskDir, { recursive: true });
const db = new Database(path.join(ctx.taskDir, 'data.db'));
function openTaskDbAt(taskDir) {
fs.mkdirSync(taskDir, { recursive: true });
const db = new Database(path.join(taskDir, 'data.db'));
db.pragma('busy_timeout = 5000');
return db;
}
function openTaskDb(ctx) { return openTaskDbAt(ctx.taskDir); }
// better-sqlite3 不接受 boolean/array/object 绑定;JSON 世界 true/false ↔ SQLite 0/1 是强约定。
// 所有进入绑定位的值(params / rows / set / where)统一过这里。
function dbValue(v, label) {
@@ -871,10 +875,11 @@ function jsonSafeRows(rows) {
}
// 500 行 / 100KB 双上限:未超限返回裸数组;超限改 {rows,...} 信封并附截断说明。
function renderQueryResult(rows) {
// overflow 由 runTaskSql 的行数截断给出(总行数不再探得,故信封只报 returned_rows 不报 total);
// 字节线在此再收。
function renderQueryResult(rows, overflow) {
let shown = rows;
let truncated = shown.length > DB_MAX_ROWS;
if (truncated) shown = shown.slice(0, DB_MAX_ROWS);
let truncated = !!overflow;
if (Buffer.byteLength(JSON.stringify(shown, null, 2)) > DB_MAX_BYTES) {
truncated = true;
let bytes = 4; // "[\n]"
@@ -891,12 +896,58 @@ function renderQueryResult(rows) {
return JSON.stringify({
rows: shown,
returned_rows: shown.length,
total_rows: rows.length,
truncated: true,
note: '结果已截断(上限 ' + DB_MAX_ROWS + ' 行或 ' + Math.floor(DB_MAX_BYTES / 1024) + ' KB)。用 WHERE 收窄列/行,或 LIMIT/OFFSET 分页。',
}, null, 2);
}
// 任务库单语句执行的统一入口。mode:'read' 只许读(op=query)| 'write' 只许写(op=exec)|
// 'any' 按 stmt.reader 自动分流(HTTP API,SKILL.md 契约:任意单语句)。
// maxRows>0 时读取走 iterate 到量即停(防大表 SELECT * 全量物化),overflow 处置交调用方:
// 工具截断成信封,API 直接报错引导分页。错误一律抛出,不在此层包装返回形态。
function runTaskSql(taskDir, sql, params, mode, maxRows) {
const text = String(sql || '').trim();
if (!text) throw new Error('db: sql 不能为空');
const db = openTaskDbAt(taskDir);
try {
const stmt = db.prepare(text); // 多语句在此抛错(堆叠注入入口即挡)
const bound = sanitizeDbParams(params);
if (stmt.reader) {
if (mode === 'write') throw new Error('db: op=exec 收到只读语句,读取请用 op=query');
const rows = [];
let overflow = false;
if (maxRows > 0) {
const it = stmt.iterate(...bound);
try {
for (const r of it) {
if (rows.length >= maxRows) { overflow = true; break; }
rows.push(r);
}
} finally { try { it.return(); } catch (_) {} }
} else {
for (const r of stmt.all(...bound)) rows.push(r);
}
return { kind: 'read', rows: jsonSafeRows(rows), overflow };
}
if (mode === 'read') throw new Error('db: op=query 只允许读语句(SELECT 等),写操作请用 op=exec');
db.exec('BEGIN');
try {
const info = stmt.run(...bound);
db.exec('COMMIT');
const verb = text.split(/\s+/)[0].toLowerCase();
const out = (verb === 'create' || verb === 'alter' || verb === 'drop')
? { ok: true }
: { rowsAffected: info.changes, lastInsertRowid: Number(info.lastInsertRowid) };
return { kind: 'write', out };
} catch (err) {
try { db.exec('ROLLBACK'); } catch (_) {}
throw err;
}
} finally {
try { db.close(); } catch (_) {}
}
}
function toolDb(ctx, args) {
const op = String(args.op || '').trim().toLowerCase();
const sql = String(args.sql || '').trim();
@@ -907,28 +958,13 @@ function toolDb(ctx, args) {
switch (op) {
case 'exec': {
if (!sql) throw new Error('db: op=exec 缺少必填参数 sql');
db = openTaskDb(ctx);
const stmt = db.prepare(sql); // 多语句在此抛错
if (stmt.reader) throw new Error('db: op=exec 收到只读语句,读取请用 op=query');
const params = sanitizeDbParams(args.params);
db.exec('BEGIN');
try {
const info = stmt.run(...params);
db.exec('COMMIT');
const verb = sql.split(/\s+/)[0].toLowerCase();
if (verb === 'create' || verb === 'alter' || verb === 'drop') return JSON.stringify({ ok: true });
return JSON.stringify({ rowsAffected: info.changes, lastInsertRowid: Number(info.lastInsertRowid) });
} catch (err) {
try { db.exec('ROLLBACK'); } catch (_) {}
throw err;
}
const r = runTaskSql(ctx.taskDir, sql, args.params, 'write', 0);
return JSON.stringify(r.out);
}
case 'query': {
if (!sql) throw new Error('db: op=query 缺少必填参数 sql');
db = openTaskDb(ctx);
const stmt = db.prepare(sql);
if (!stmt.reader) throw new Error('db: op=query 只允许读语句(SELECT 等),写操作请用 op=exec');
return renderQueryResult(jsonSafeRows(stmt.all(...sanitizeDbParams(args.params))));
const r = runTaskSql(ctx.taskDir, sql, args.params, 'read', DB_MAX_ROWS);
return renderQueryResult(r.rows, r.overflow);
}
case 'insert': {
if (!table) throw new Error('db: op=insert 缺少必填参数 table');
@@ -1084,4 +1120,4 @@ async function executeTool(baseCtx, name, args) {
return 'Error: 未知工具 ' + name;
}
module.exports = { executeTool, resolveInTask, recordFile };
module.exports = { executeTool, resolveInTask, recordFile, runTaskSql };