feat(engine): 重启后自动续跑被中断的回合

进程被 stop/重启打断时,回合状态只在内存 runs 里,重启即丢;init 又把
active 一律归位 held,用户得重新喊一声才动。

现在归位前先挑出「回合没走完」的:最后一条非 tool 消息是 user(模型还没答)
或带 tool_calls 的 assistant(这批工具之后没了下文)。已答完、只是没来得及
finalize 的会话不在此列,照常归位。归位后延迟 5 秒(等 listen 与 executor
就绪)再拉起:补中断点的回执,然后 ensureBinding + touch(active) +
恢复 deepThink + runLoop。

补回执不是伪造执行结果,文案写明「服务重启,本次调用被中断,执行结果未知」。
没有配对回执时 buildMessages 会把整行 tool_calls 丢掉,模型看不到自己发过
什么命令,「重启」这类任务就会无限重试(实测 stop/start 来回三轮)。
This commit is contained in:
2026-11-13 14:30:30 +08:00
parent 8168eae51e
commit b9fad470ee
+63
View File
@@ -205,9 +205,44 @@ function syncModelPool() {
// 进程重启后:key 非独占,所有会话的绑定保持不动(顶部展示的模型持续可见,直到用户手动断开/换绑)。
// active(重启后必无回合进程)与遗留 queued 会话统一归位 held;指向已被删除/禁用模型的绑定,
// 下次发消息时由 ensureBinding 自动改选(优先留原平台),用户无感。
// 归位前先把「回合没走完」的 active 挑出来:stop/重启打断时它们停在半路,最后一条非 tool 消息
// 必是 user(模型还没答)或带 tool_calls 的 assistant(这批工具之后没了下文)。
// 已答完、只是没来得及 finalize 的会话(最后是纯文本 assistant)不在此列,照常归位 held。
const resumeIds = [];
for (const r of db.prepare("SELECT id FROM sessions WHERE status='active'").all()) {
const last = db.prepare(
"SELECT role, tool_calls FROM messages WHERE session_id = ? AND role != 'tool' ORDER BY id DESC LIMIT 1"
).get(r.id);
if (last && (last.role === 'user'
|| (last.role === 'assistant' && last.tool_calls && last.tool_calls !== '[]'))) resumeIds.push(r.id);
}
db.prepare('UPDATE model_pool SET is_busy = 0, current_session_id = NULL').run(); // 旧版独占列清残留(调度已不读)
db.prepare("UPDATE sessions SET status='held', held_at=COALESCE(held_at, updated_at), updated_at=? WHERE status IN ('active','queued')").run(now());
startHeldSweeper();
// 续跑:不伪造工具执行结果,但给中断点那批调用补一条「服务重启、结果未知」的回执,
// 否则 buildMessages 会把整行 tool_calls 丢掉,模型看不到自己发过什么命令,重启类任务就会无限重试。
// 等 5s 是因为 init 早于 server.listen,executor 也可能还在起,太早开跑首轮工具只会拿到连接错误。
const RESUME_DELAY_MS = 5000;
for (const id of resumeIds) {
setTimeout(() => {
const s = getSession(id);
// 5s 内用户可能已经自己发消息(已开跑)或点了停止:只接管仍停在 held/active 的会话
if (!s || (s.status !== 'held' && s.status !== 'active')) return;
try {
ensureBinding(s);
touch(id, { status: 'active', held_at: null, completed_at: null, cancelled_at: null });
getRun(id, true).deepThink = !!s.deep_think; // 恢复中断前的深度思考开关(会话行里持久化的值)
const n = markInterruptedBatch(id); // 先补中断点的回执,模型才能看到自己发过什么命令
if (n) log.info('tool', id + ' 重启续跑前补齐 ' + n + ' 条中断回执');
emitStatus(id);
runLoop(id);
log.info('engine', id + ' 重启后续跑未完成的回合');
} catch (e) {
log.warn('engine', id + ' 重启续跑失败:' + (e && e.message || e));
}
}, RESUME_DELAY_MS);
}
if (resumeIds.length) log.info('engine', '检测到 ' + resumeIds.length + ' 个被中断的回合,就绪后自动续跑');
}
// ---------- 会话闲置处理(30min held 归档 + 4h 记忆收口) ----------
@@ -587,6 +622,34 @@ async function runLoop(sessionId) {
}
}
// 重启续跑前给中断点那批调用补回执:不伪造执行结果,只告知「服务重启、结果未知」。
// 有了配对回执,buildMessages 才会保留整行 tool_calls——否则它会把无回执的调用剔掉,
// 模型看不到自己发过什么命令,「重启」类任务就靠猜,猜错就无限重试。
function markInterruptedBatch(sessionId) {
const last = db.prepare(
"SELECT id, role, tool_calls FROM messages WHERE session_id = ? AND role != 'tool' ORDER BY id DESC LIMIT 1"
).get(sessionId);
if (!last || last.role !== 'assistant' || !last.tool_calls) return 0; // 收尾回复或用户才发完话
let calls = [];
try { calls = JSON.parse(last.tool_calls) || []; } catch (_) { return 0; }
const got = new Set(
db.prepare(
"SELECT tool_call_id FROM messages WHERE session_id = ? AND role = 'tool' AND id > ? AND tool_call_id IS NOT NULL AND tool_call_id != ''"
).all(sessionId, last.id).map(r => r.tool_call_id)
);
let n = 0;
for (const c of calls) {
if (!c || !c.id || got.has(c.id)) continue;
const name = (c.function && c.function.name) || '未知工具';
saveMessage(sessionId, {
role: 'tool', tool_call_id: c.id, name,
content: '[系统] 服务重启,本次调用被中断,执行结果未知:先核实实际状态再决定,不要直接重试。',
});
n++;
}
return n;
}
function finalize(sessionId, run) {
const s = getSession(sessionId);
if (!s || s.status !== 'active') { runs.delete(sessionId); return; }