active 闲置纳入保持租约:新建绑定模型后从未发言(或无 run 且无未回应消息)的会话同按 held 规则释放——无观看者 idle_release_ms(3min)、有人观看上限 active_max_ms(30min),到期变 completed 并释放模型(后续发言自动重新排队),堵住"建而不用永久占模型"的漏洞;配置注释与 README 同步

This commit is contained in:
2026-08-31 15:51:17 +08:00
parent 0bfe7ed45b
commit ab18e17aa7
4 changed files with 28 additions and 2 deletions
+1 -1
View File
@@ -85,7 +85,7 @@ models:
| **保持中(held)** | AI 已答完,在租约内继续占用模型等待追问 | 有(临时保持) | 消息直接复用已绑模型,免排队 | | **保持中(held)** | AI 已答完,在租约内继续占用模型等待追问 | 有(临时保持) | 消息直接复用已绑模型,免排队 |
| **已完成/已取消** | 租约到期释放、任务结束或用户终止,模型已释放 | 无 | 可继续输入,自动再次进入排队 | | **已完成/已取消** | 租约到期释放、任务结束或用户终止,模型已释放 | 无 | 可继续输入,自动再次进入排队 |
> held 租约规则(`model_hold` 可配置):页面无观看者超过 `idle_release_ms`(默认 3 分钟)即释放;有人观看最长保持 `active_max_ms`(默认 30 分钟),防止挂着页面霸占模型池。 > held 租约规则(`model_hold` 可配置):页面无观看者超过 `idle_release_ms`(默认 3 分钟)即释放;有人观看最长保持 `active_max_ms`(默认 30 分钟),防止挂着页面霸占模型池。「绑定模型但闲置」的会话(如新建后从未发言)同受此租约管理,到期自动变已完成并释放模型。
> 「已完成」和「已取消」本质相同,都回到“空闲”状态,仅记录一个结束原因。 > 「已完成」和「已取消」本质相同,都回到“空闲”状态,仅记录一个结束原因。
+1
View File
@@ -30,6 +30,7 @@ agent:
# 模型保持占用(held)租约:AI 答完后不立即释放模型,用户追问可直接复用。 # 模型保持占用(held)租约:AI 答完后不立即释放模型,用户追问可直接复用。
# 页面无人观看超过 idle_release_ms 释放;有人观看最长保持 active_max_ms;sweep_ms 巡检间隔。 # 页面无人观看超过 idle_release_ms 释放;有人观看最长保持 active_max_ms;sweep_ms 巡检间隔。
# 新建后从未发言的空闲会话也按同一租约自动释放。
model_hold: model_hold:
idle_release_ms: 180000 # 3 分钟 idle_release_ms: 180000 # 3 分钟
active_max_ms: 1800000 # 30 分钟 active_max_ms: 1800000 # 30 分钟
+1
View File
@@ -13,6 +13,7 @@ const DEFAULTS = {
agent: { temperature: 1.0, max_tool_iterations: 50, max_retries: 2 }, agent: { temperature: 1.0, max_tool_iterations: 50, max_retries: 2 },
// 回合结束后模型保持占用(held)的租约:页内无人观看超过 idle_release_ms 则释放; // 回合结束后模型保持占用(held)的租约:页内无人观看超过 idle_release_ms 则释放;
// 即便一直有人观看,最长也只保持 active_max_ms;sweep_ms 为巡检间隔。 // 即便一直有人观看,最长也只保持 active_max_ms;sweep_ms 为巡检间隔。
// 「绑定模型但闲置」的会话(从未发言、无未回应消息)同样按此租约释放,防建而不用霸占模型。
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
models: [], models: [],
auth: null, // { user, password },为空则不启用内置 basic auth(可交给 nginx-proxy) auth: null, // { user, password },为空则不启用内置 basic auth(可交给 nginx-proxy)
+25 -1
View File
@@ -173,10 +173,12 @@ function dispatchQueued() {
} }
} }
// ---------- held 保持租约 ---------- // ---------- 保持租约(held / active 闲置) ----------
// 回合结束后会话进入 held:继续占用模型(用户追问免排队),由 sweeper 按规则释放: // 回合结束后会话进入 held:继续占用模型(用户追问免排队),由 sweeper 按规则释放:
// - 页面无 SSE 观看者:超过 idle_release_ms 释放; // - 页面无 SSE 观看者:超过 idle_release_ms 释放;
// - 有人观看:最长保持 active_max_ms(防止挂着页面霸占模型池)。 // - 有人观看:最长保持 active_max_ms(防止挂着页面霸占模型池)。
// 「绑定了模型但闲置」的会话(active 且无 run 在跑、无未回应消息,如新建后从未发言)
// 同样受租约管理,避免建了不用的会话无限占用模型。
function releaseHeld(sessionId) { function releaseHeld(sessionId) {
const s = getSession(sessionId); const s = getSession(sessionId);
if (!s || s.status !== 'held') return; if (!s || s.status !== 'held') return;
@@ -187,6 +189,19 @@ function releaseHeld(sessionId) {
dispatchQueued(); dispatchQueued();
} }
// active 但闲置(从未发言/无未回应消息)→ 按租约释放,语义同 held 到期
function releaseIdleActive(sessionId) {
const s = getSession(sessionId);
if (!s || s.status !== 'active' || !s.model_id) return;
const run = runs.get(sessionId);
if (run && run.looping) return;
touch(sessionId, { status: 'completed', completed_at: now() });
releaseModel(sessionId);
bus.emit(sessionId, 'done', { status: 'completed' });
emitStatus(sessionId);
dispatchQueued();
}
function sweepHeld() { function sweepHeld() {
const holdCfg = (cfg && cfg.model_hold) || {}; const holdCfg = (cfg && cfg.model_hold) || {};
const idleMs = holdCfg.idle_release_ms || 180000; const idleMs = holdCfg.idle_release_ms || 180000;
@@ -197,6 +212,15 @@ function sweepHeld() {
const present = bus.clientCount && bus.clientCount(s.id) > 0; const present = bus.clientCount && bus.clientCount(s.id) > 0;
if (heldSince >= (present ? activeMs : idleMs)) releaseHeld(s.id); if (heldSince >= (present ? activeMs : idleMs)) releaseHeld(s.id);
} }
// active 闲置:绑定了模型但无 run 在跑、无未回应消息(如新建后从未发言)→ 同租约释放
for (const s of db.prepare("SELECT * FROM sessions WHERE status='active' AND model_id IS NOT NULL").all()) {
const run = runs.get(s.id);
if (run && run.looping) continue;
if (hasPendingUser(s.id)) continue; // 有消息待回应,由 runLoop 处理,不动它
const idleSince = t - (s.updated_at || 0);
const present = bus.clientCount && bus.clientCount(s.id) > 0;
if (idleSince >= (present ? activeMs : idleMs)) releaseIdleActive(s.id);
}
} }
let holdTimer = null; let holdTimer = null;