active 闲置纳入保持租约:新建绑定模型后从未发言(或无 run 且无未回应消息)的会话同按 held 规则释放——无观看者 idle_release_ms(3min)、有人观看上限 active_max_ms(30min),到期变 completed 并释放模型(后续发言自动重新排队),堵住"建而不用永久占模型"的漏洞;配置注释与 README 同步
This commit is contained in:
@@ -85,7 +85,7 @@ models:
|
|||||||
| **保持中(held)** | AI 已答完,在租约内继续占用模型等待追问 | 有(临时保持) | 消息直接复用已绑模型,免排队 |
|
| **保持中(held)** | AI 已答完,在租约内继续占用模型等待追问 | 有(临时保持) | 消息直接复用已绑模型,免排队 |
|
||||||
| **已完成/已取消** | 租约到期释放、任务结束或用户终止,模型已释放 | 无 | 可继续输入,自动再次进入排队 |
|
| **已完成/已取消** | 租约到期释放、任务结束或用户终止,模型已释放 | 无 | 可继续输入,自动再次进入排队 |
|
||||||
|
|
||||||
> held 租约规则(`model_hold` 可配置):页面无观看者超过 `idle_release_ms`(默认 3 分钟)即释放;有人观看最长保持 `active_max_ms`(默认 30 分钟),防止挂着页面霸占模型池。
|
> held 租约规则(`model_hold` 可配置):页面无观看者超过 `idle_release_ms`(默认 3 分钟)即释放;有人观看最长保持 `active_max_ms`(默认 30 分钟),防止挂着页面霸占模型池。「绑定模型但闲置」的会话(如新建后从未发言)同受此租约管理,到期自动变已完成并释放模型。
|
||||||
|
|
||||||
> 「已完成」和「已取消」本质相同,都回到“空闲”状态,仅记录一个结束原因。
|
> 「已完成」和「已取消」本质相同,都回到“空闲”状态,仅记录一个结束原因。
|
||||||
|
|
||||||
|
|||||||
@@ -30,6 +30,7 @@ agent:
|
|||||||
|
|
||||||
# 模型保持占用(held)租约:AI 答完后不立即释放模型,用户追问可直接复用。
|
# 模型保持占用(held)租约:AI 答完后不立即释放模型,用户追问可直接复用。
|
||||||
# 页面无人观看超过 idle_release_ms 释放;有人观看最长保持 active_max_ms;sweep_ms 巡检间隔。
|
# 页面无人观看超过 idle_release_ms 释放;有人观看最长保持 active_max_ms;sweep_ms 巡检间隔。
|
||||||
|
# 新建后从未发言的空闲会话也按同一租约自动释放。
|
||||||
model_hold:
|
model_hold:
|
||||||
idle_release_ms: 180000 # 3 分钟
|
idle_release_ms: 180000 # 3 分钟
|
||||||
active_max_ms: 1800000 # 30 分钟
|
active_max_ms: 1800000 # 30 分钟
|
||||||
|
|||||||
@@ -13,6 +13,7 @@ const DEFAULTS = {
|
|||||||
agent: { temperature: 1.0, max_tool_iterations: 50, max_retries: 2 },
|
agent: { temperature: 1.0, max_tool_iterations: 50, max_retries: 2 },
|
||||||
// 回合结束后模型保持占用(held)的租约:页内无人观看超过 idle_release_ms 则释放;
|
// 回合结束后模型保持占用(held)的租约:页内无人观看超过 idle_release_ms 则释放;
|
||||||
// 即便一直有人观看,最长也只保持 active_max_ms;sweep_ms 为巡检间隔。
|
// 即便一直有人观看,最长也只保持 active_max_ms;sweep_ms 为巡检间隔。
|
||||||
|
// 「绑定模型但闲置」的会话(从未发言、无未回应消息)同样按此租约释放,防建而不用霸占模型。
|
||||||
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
|
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
|
||||||
models: [],
|
models: [],
|
||||||
auth: null, // { user, password },为空则不启用内置 basic auth(可交给 nginx-proxy)
|
auth: null, // { user, password },为空则不启用内置 basic auth(可交给 nginx-proxy)
|
||||||
|
|||||||
+25
-1
@@ -173,10 +173,12 @@ function dispatchQueued() {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// ---------- held 保持租约 ----------
|
// ---------- 保持租约(held / active 闲置) ----------
|
||||||
// 回合结束后会话进入 held:继续占用模型(用户追问免排队),由 sweeper 按规则释放:
|
// 回合结束后会话进入 held:继续占用模型(用户追问免排队),由 sweeper 按规则释放:
|
||||||
// - 页面无 SSE 观看者:超过 idle_release_ms 释放;
|
// - 页面无 SSE 观看者:超过 idle_release_ms 释放;
|
||||||
// - 有人观看:最长保持 active_max_ms(防止挂着页面霸占模型池)。
|
// - 有人观看:最长保持 active_max_ms(防止挂着页面霸占模型池)。
|
||||||
|
// 「绑定了模型但闲置」的会话(active 且无 run 在跑、无未回应消息,如新建后从未发言)
|
||||||
|
// 同样受租约管理,避免建了不用的会话无限占用模型。
|
||||||
function releaseHeld(sessionId) {
|
function releaseHeld(sessionId) {
|
||||||
const s = getSession(sessionId);
|
const s = getSession(sessionId);
|
||||||
if (!s || s.status !== 'held') return;
|
if (!s || s.status !== 'held') return;
|
||||||
@@ -187,6 +189,19 @@ function releaseHeld(sessionId) {
|
|||||||
dispatchQueued();
|
dispatchQueued();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// active 但闲置(从未发言/无未回应消息)→ 按租约释放,语义同 held 到期
|
||||||
|
function releaseIdleActive(sessionId) {
|
||||||
|
const s = getSession(sessionId);
|
||||||
|
if (!s || s.status !== 'active' || !s.model_id) return;
|
||||||
|
const run = runs.get(sessionId);
|
||||||
|
if (run && run.looping) return;
|
||||||
|
touch(sessionId, { status: 'completed', completed_at: now() });
|
||||||
|
releaseModel(sessionId);
|
||||||
|
bus.emit(sessionId, 'done', { status: 'completed' });
|
||||||
|
emitStatus(sessionId);
|
||||||
|
dispatchQueued();
|
||||||
|
}
|
||||||
|
|
||||||
function sweepHeld() {
|
function sweepHeld() {
|
||||||
const holdCfg = (cfg && cfg.model_hold) || {};
|
const holdCfg = (cfg && cfg.model_hold) || {};
|
||||||
const idleMs = holdCfg.idle_release_ms || 180000;
|
const idleMs = holdCfg.idle_release_ms || 180000;
|
||||||
@@ -197,6 +212,15 @@ function sweepHeld() {
|
|||||||
const present = bus.clientCount && bus.clientCount(s.id) > 0;
|
const present = bus.clientCount && bus.clientCount(s.id) > 0;
|
||||||
if (heldSince >= (present ? activeMs : idleMs)) releaseHeld(s.id);
|
if (heldSince >= (present ? activeMs : idleMs)) releaseHeld(s.id);
|
||||||
}
|
}
|
||||||
|
// active 闲置:绑定了模型但无 run 在跑、无未回应消息(如新建后从未发言)→ 同租约释放
|
||||||
|
for (const s of db.prepare("SELECT * FROM sessions WHERE status='active' AND model_id IS NOT NULL").all()) {
|
||||||
|
const run = runs.get(s.id);
|
||||||
|
if (run && run.looping) continue;
|
||||||
|
if (hasPendingUser(s.id)) continue; // 有消息待回应,由 runLoop 处理,不动它
|
||||||
|
const idleSince = t - (s.updated_at || 0);
|
||||||
|
const present = bus.clientCount && bus.clientCount(s.id) > 0;
|
||||||
|
if (idleSince >= (present ? activeMs : idleMs)) releaseIdleActive(s.id);
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
let holdTimer = null;
|
let holdTimer = null;
|
||||||
|
|||||||
Reference in New Issue
Block a user