模型最久未用优先轮转

This commit is contained in:
2026-09-21 11:19:53 +08:00
parent ae28587c02
commit 3e9a87adb5
3 changed files with 15 additions and 6 deletions
+5 -1
View File
@@ -64,7 +64,8 @@ function initDb(dbPath) {
id TEXT PRIMARY KEY,
display_name TEXT,
is_busy INTEGER DEFAULT 0,
current_session_id TEXT
current_session_id TEXT,
last_used_at INTEGER
);
CREATE TABLE IF NOT EXISTS wait_queue (
@@ -123,6 +124,9 @@ function initDb(dbPath) {
// 迁移:model_slot 记会话占用的具体池槽位(「模型id#key下标」,同模型多 key 并行占用),
// model_id 仍存模型 id 供展示/统计(见 engine.bindModel)。
if (!cols.some(c => c.name === 'model_slot')) db.exec('ALTER TABLE sessions ADD COLUMN model_slot TEXT');
// 迁移:model_pool.last_used_at 记槽位最近被绑定时刻,调度按「最久未用先上」轮转(见 engine.freeModel)
const poolCols = db.prepare('PRAGMA table_info(model_pool)').all();
if (!poolCols.some(c => c.name === 'last_used_at')) db.exec('ALTER TABLE model_pool ADD COLUMN last_used_at INTEGER');
// 迁移:last_model_id 记住会话最近用过的模型,释放后新消息优先回绑(见 engine.dispatchQueued)
if (!cols.some(c => c.name === 'last_model_id')) {
db.exec('ALTER TABLE sessions ADD COLUMN last_model_id TEXT');
+5 -4
View File
@@ -182,18 +182,19 @@ function syncModelPool() {
}
function freeModel() {
return db.prepare('SELECT * FROM model_pool WHERE is_busy = 0 ORDER BY id').get();
// 轮转:最久未用(从未用过排最前)的空闲槽先上,同模型多 key / 跨模型都自然摊平
return db.prepare('SELECT * FROM model_pool WHERE is_busy = 0 ORDER BY ifnull(last_used_at, 0), id').get();
}
// 槽位 id(「模型id#key下标」)→ 模型 id(「平台/模型」)。对外一律用模型 id,槽位只在池内/取 key 时用。
function slotBase(id) { return String(id || '').split('#')[0]; }
// 找指定模型(传模型 id 或槽位 id 均可)的任意空闲槽位:同模型多个空闲 key 时任取其一。
// 找指定模型(传模型 id 或槽位 id 均可)的空闲槽位:多个空闲 key 时取最久未用的。
// 用范围比较而非 LIKE,避免模型 id 里的 _/% 被当通配符。
function freeSlotFor(modelId) {
const base = slotBase(modelId);
if (!base) return null;
return db.prepare('SELECT * FROM model_pool WHERE id >= ? AND id < ? AND is_busy = 0 ORDER BY id LIMIT 1')
return db.prepare('SELECT * FROM model_pool WHERE id >= ? AND id < ? AND is_busy = 0 ORDER BY ifnull(last_used_at, 0), id LIMIT 1')
.get(base + '#', base + '#\uffff');
}
@@ -218,7 +219,7 @@ function dequeue(sessionId) {
// 用户发首条消息后由 postUserMessage 的 held 分支转 active 开跑。
function bindModel(session, model, status) {
const st = status === 'held' ? 'held' : 'active';
db.prepare('UPDATE model_pool SET is_busy = 1, current_session_id = ? WHERE id = ?').run(session.id, model.id);
db.prepare('UPDATE model_pool SET is_busy = 1, current_session_id = ?, last_used_at = ? WHERE id = ?').run(session.id, now(), model.id);
// model_id/last_model_id 存模型 id(展示/统计/回绑语义不变),model_slot 记绑定的具体 key 槽位;
// last_model_id 不随释放清除:会话再次需要模型时优先回绑同模型的空闲 key(见 pickModelFor)
db.prepare("UPDATE sessions SET status=?, model_id=?, model_slot=?, last_model_id=?, held_at=?, updated_at=? WHERE id=?")
+5 -1
View File
@@ -274,8 +274,12 @@ async function forEachSSEData(response, onEvent, onMeta, onBadData) {
function deepMergeInto(dst, src) {
for (const k of Object.keys(src || {})) {
const sv = src[k];
if (sv && typeof sv === 'object' && !Array.isArray(sv) && dst[k] && typeof dst[k] === 'object' && !Array.isArray(dst[k])) {
if (sv && typeof sv === 'object' && !Array.isArray(sv)
&& dst[k] && typeof dst[k] === 'object' && !Array.isArray(dst[k])) {
deepMergeInto(dst[k], sv);
} else if (sv && typeof sv === 'object') {
// 切断与配置对象的引用关系
dst[k] = Array.isArray(sv) ? sv.slice() : structuredClone(sv);
} else {
dst[k] = sv;
}