3 Commits
Author SHA1 Message Date
kicer f587eb5b52 fix(llm): 深度思考状态随会话落库,压缩不再断前缀缓存
deepThink 只在发消息时写进 sessions.deep_think,重进会话按它回填按钮,压缩回合
沿用会话当前状态而不是强制关思考。

压缩回合照常发 tools、system prompt 不动,请求与上一发常规请求只差尾部那条压缩
指令,前缀缓存整段命中(原来压缩去 tools、关思考,前缀从最前面就断了)。

reasoning_content 只在开思考时回传:关思考不发历史思维链;开思考时带 tool_calls
却没有思维链的行用空串占位,避免上游 400。
2026-11-12 09:02:23 +08:00
kicer 57ff5073d8 feat(config): 模型可配 max_context,到线自动压缩上下文
max_context 是用户自定义的用量线,不是模型真实窗口:回合内 In 峰值到了,就在
下一发请求之前切成压缩回合,摘要落库后清零,支持连续压缩。

回合起点用上一发上游实报的 prompt_tokens 播种峰值,否则新回合第一发的判据永远是
0,历史早就超线也会整段再打一次(实测 123903 ≥ 120000 那发就是白打的)。
2026-11-12 08:42:07 +08:00
kicer b657a22fe2 fix(server): 下载响应接住 sendFile 异步错误,点文件不再 404 也不再吐堆栈
- sendDownload 加 dotfiles:'allow' 与图片分支对齐:.env / .gitignore 这类点文件
  本来存在,却被 send 的默认 ignore 策略当成不存在抛 NotFoundError
- sendDownload / sendInlineImage 都补上 sendFile 回调,失败统一走 sendFileError:
  4xx 折叠成 404、正文只留一行纯文本。此前错误没人接,落进 Express 默认处理器,
  非 production 环境下把 err.stack 拼成 HTML 吐给请求方(服务端绝对路径、源码
  文件名+行号、依赖版本),而 /p/<id> 是挂在 auth 之前的匿名可达端点
- 新增 error-handler.js 作统一错误出口,末尾挂在 server.js:任意路由漏出的异常
  同样只回一行纯文本,栈只进日志、不再进响应体
2026-11-12 07:45:06 +08:00
10 changed files with 152 additions and 19 deletions
+4
View File
@@ -236,6 +236,9 @@ function normalizePlatforms(rawPlatforms, profileNames) {
// 非空时发请求前给历史 assistant 行挂该字段;空(缺省)= 不回传。纯发送侧旋钮,
// 与接收解析无关(接收早已兼容 reasoning/reasoning_content 双名)。
reasoning_ack_field: typeof m.reasoning_ack_field === 'string' ? m.reasoning_ack_field.trim() : '',
// 选填:自动压缩阈值(用户自定义的「上下文用量线」,**不是**模型真实窗口)。
// 回合内 In token 峰值达到它即自动压缩上下文(见 engine.runLoopInner 循环顶部);0/未配 = 不启用。
max_context: Math.max(0, parseInt(m.max_context, 10) || 0),
profile,
});
}
@@ -359,6 +362,7 @@ function parseAndValidate(rawText, configPath) {
display_name: m.display_name, vision: m.vision, enable: m.enable,
extra_params: m.extra_params, thinking_params: m.thinking_params,
reasoning_ack_field: m.reasoning_ack_field,
max_context: m.max_context,
profile: m.profile,
url: p.url, api_key: k.api_key, platform: p.name, type: p.type, concurrency: k.concurrency,
platform_index: pi, key_index: ki, model_index: mi,
+3
View File
@@ -20,6 +20,7 @@ function initDb(dbPath) {
assistant_type TEXT DEFAULT 'secretary',
user TEXT DEFAULT '',
profile TEXT DEFAULT '',
deep_think INTEGER NOT NULL DEFAULT 0,
created_at INTEGER NOT NULL,
updated_at INTEGER NOT NULL,
completed_at INTEGER,
@@ -234,6 +235,8 @@ function initDb(dbPath) {
// 迁移:会话级工作目录(本地桌面端新建会话时手选一个真实目录)。空串 = 沿用
// workspace_root/<会话id>;服务器形态永远为空,行为与旧版完全一致(见 engine.taskDirOf)。
if (!cols.some(c => c.name === 'work_dir')) db.exec("ALTER TABLE sessions ADD COLUMN work_dir TEXT NOT NULL DEFAULT ''");
// 迁移:会话级深度思考开关(发消息时按请求体落库;重进会话回填按钮,压缩回合也以它为准)。
if (!cols.some(c => c.name === 'deep_think')) db.exec('ALTER TABLE sessions ADD COLUMN deep_think INTEGER NOT NULL DEFAULT 0');
// 迁移:wechat_bindings 补 deep_think 列——微信端全局深度思考开关(routes/channel.js /think 读写,
// 投递时作为既有 deepThink 参数的取值来源);默认 0=关(与 H5 按钮初始态一致,/think on 手动开)。
// 旧库若曾按 DEFAULT 1 补过列(当时默认开,存量行都是默认值回填而非用户显式选择),
+32 -2
View File
@@ -3,6 +3,7 @@
'use strict';
const path = require('path');
const log = require('./log');
// Content-Disposition 手工构造,绕开 content-disposition 包的 ASCII 兜底:
// 该包会把中文名逐字替换成 ?(???.pdf),且 filename= 后紧跟 filename*= 会让
@@ -53,10 +54,36 @@ function noStore(res) {
res.setHeader('Expires', '0');
}
// sendFile 失败的统一出口(所有调用方共用,不再各自 try/catch——sendFile 的失败是
// **异步**回调,调用方外层的 try/catch 根本抓不到)。
//
// 为什么必须有人接:没人接就落进 Express 默认错误处理器,而它在 NODE_ENV != production 时
// 会把 err.stack 拼成 HTML 页面吐给请求方——服务端绝对路径、源码文件名+行号、依赖版本全在
// 里面。/p/<id> 是匿名可达端点(public-files.js 挂在 auth 之前),一次失败就等于把内部结构
// 公开。所以正文只留一行固定文案,细节进日志。
//
// 4xx 一律折叠成 404:不向匿名取用方区分「不存在」与「无权限」(原来的 403/416 会变成
// 探针,能区分路径是否存在)。
function sendFileError(res, err, abs) {
const code = Number(err && err.status);
const notFound = !!err && (err.code === 'ENOENT' || (code >= 400 && code < 500));
const status = notFound ? 404 : 500;
log.warn('download', (notFound ? '取不到文件:' : '发送失败:') + abs +
'(' + ((err && (err.code || err.message)) || err) + ')');
if (res.headersSent) { if (res.destroy) res.destroy(); return; } // 已吐了半截,只能断开
res.removeHeader('Content-Disposition'); // 进来前已按附件设过,错误响应不该带文件名
res.status(status).type('text').send(notFound ? 'not found' : 'internal error');
}
function sendDownload(res, abs) {
noStore(res);
res.setHeader('Content-Disposition', downloadDisposition(path.basename(abs)));
res.sendFile(abs, { lastModified: false, etag: false, maxAge: 0 });
// dotfiles:'allow' 与下面的图片分支对齐。send 默认 'ignore' 会把 .env / .gitignore 这类
// 文件当成"不存在"抛 NotFoundError——文件明明在,取用方却拿到 404,且历史版本还会连带
// 把堆栈页吐出去(见 sendFileError)。点文件本来就是我们自己签发的,没有理由拒绝。
res.sendFile(abs, { dotfiles: 'allow', lastModified: false, etag: false, maxAge: 0 }, function (err) {
if (err) sendFileError(res, err, abs);
});
}
// 内联图片响应(公网链 GET /p/<id> 的图片分支):点开链接直接显示,不再被当成附件下载。
@@ -72,7 +99,10 @@ function sendInlineImage(res, abs, type) {
// sandbox 不给 allow-scripts,退化成不可执行、无同源权限的文档;<img> 引用本就不执行脚本,不受影响。
if (type === 'image/svg+xml') res.setHeader('Content-Security-Policy', 'sandbox');
// dotfiles 显式放行:read_file 的压缩产物在 .imgcache/(点目录),默认策略对其他调用方不保证。
res.sendFile(abs, { dotfiles: 'allow', lastModified: false, etag: false, maxAge: 0 });
// 回调同 sendDownload:图片也可能在读盘中途失败(被删/EACCES),不能漏给默认错误处理器。
res.sendFile(abs, { dotfiles: 'allow', lastModified: false, etag: false, maxAge: 0 }, function (err) {
if (err) sendFileError(res, err, abs);
});
}
module.exports = { contentDisposition, downloadDisposition, sendDownload, sendInlineImage, inlineImageType };
+49 -7
View File
@@ -352,6 +352,32 @@ function modelVision(session) {
return !!(m && m.vision);
}
// 会话绑定模型的自动压缩阈值(models[].max_context,0=未配→不自动压缩)。
// 它不是模型真实上下文窗口,而是用户自己设的「用量线」——到线就压,与真实窗口多大无关。
function modelMaxContext(session) {
const m = session.model_id && (cfg.models || []).find(x => x.id === session.model_id);
return (m && Number(m.max_context)) || 0;
}
// 回合起点播种回合一开局的 In token:取「上一回合最后一次上游实报的 prompt_tokens」。
// 不播种的话新回合第一个判据永远是 0(run.turnMaxPt 在 runLoop 里清零),
// 历史早就超线也照样把整段再发一遍,只有等到本回合内出现工具迭代才补判——
// 实测 123903 ≥ 120000 的那一发就是白打的(无 tool_calls 的回合到头来一发都不压)。
// 摘要行的 usage 是「压缩请求自身」的用量(含被截断的旧转写),不代表压缩后的上下文,
// 拿它播种会让刚压完立刻再压,故只认最新摘要之后的行。
function seedTurnMaxPt(sessionId) {
const last = db.prepare("SELECT MAX(id) AS id FROM messages WHERE session_id = ? AND type = 'summary'").get(sessionId);
const row = db.prepare(
"SELECT usage FROM messages WHERE session_id = ? AND role = 'assistant' AND usage IS NOT NULL" +
" AND id > ? ORDER BY id DESC LIMIT 1"
).get(sessionId, (last && last.id) || 0);
if (!row || !row.usage) return 0;
try {
const u = JSON.parse(row.usage);
return Math.max(0, Number(u && u.pt) || 0);
} catch (_) { return 0; }
}
// ---------- 模型 profile(prompt+tools 组合) ----------
// 把 cfg 里预加载的自定义 prompt 文本注册给 llm(配置加载时已读入,见 config.js);
// engine.init 调一次,运行期只按名选取,零 IO。
@@ -546,7 +572,7 @@ async function runLoop(sessionId) {
if (run.looping) return; // 已有循环在跑(下一轮迭代会自动带上最新消息)
run.looping = true;
// 回合级 In token 峰值(整轮结束后供自动压缩检查);记录本回合是否为压缩回合,压缩回合不再自启压缩防递归
run.turnMaxPt = 0;
run.turnMaxPt = seedTurnMaxPt(sessionId);
const wasCompressTurn = !!run.summarizing;
try {
await runLoopInner(sessionId, run);
@@ -698,9 +724,19 @@ async function runLoopInner(sessionId, run) {
if (!session || session.status !== 'active' || !session.model_id) break;
session.history = loadHistory(sessionId);
for (const m of session.history) if (m.id > lastIncludedId) lastIncludedId = m.id;
// 自动压缩:本回合已用到的 In token 峰值(上一轮上游实报值)达到模型配的 max_context,
// 就地把握回合切成压缩回合——不新开 run、不发 auto_compress 提议,前端无感(产物就是摘要卡片,
// 与手点「压缩」完全同一条路径:下一圈的 compressing 分支换 prompt、摘要落库归档)。
// 检查点必须在请求发出之前:这个数字是上一轮的真实值,下一轮只会更大。
// 压缩回合自身不再判(run.summarizing 已真),否则会把自己再压一遍。
const maxCtx = modelMaxContext(session);
if (maxCtx > 0 && !run.summarizing && (run.turnMaxPt || 0) >= maxCtx) {
log.info('msg', sessionId + ' 自动压缩:回合 In ' + run.turnMaxPt + ' ≥ max_context ' + maxCtx);
run.summarizing = true;
}
// 压缩回合(run.summarizing = 由「压缩」按钮发起、尚未产出摘要):
// 沿用默认 system prompt + 正常历史,末尾追加一条压缩指令 user(见 llm.compressMessages);
// 且不传 tools,模型只能输出摘要文本。
// 沿用默认 system prompt + 正常历史 + 同一套 tools,末尾追加一条压缩指令 user(见 llm.compressMessages),
// 请求与上一发常规请求只差尾部这一段,前缀缓存整段命中。
// 发送前为历史里的 image_ref 块现签公网外链(GET /p/<id>,同 mint_public_link):
// 每次请求重签,回合内多轮迭代/重试永不过期;DB 只存几十字符的 rel,base64 不进库不进请求体。
// base_url 未配/校验不过/mint 异常时返回 null,buildMessages 降级为文字占位;本地形态
@@ -743,8 +779,9 @@ async function runLoopInner(sessionId, run) {
+ (txt.includes('"already_delivered"') ? '[图重复读挡回]' : '');
}).join(' '));
}
// 内置工具 + 启动时发现的 MCP 工具(按 profile 白名单过滤),一起随 system prompt 发给模型(压缩回合不发)
const tools = compressing ? [] : effectiveTools(profileName);
// 内置工具 + 启动时发现的 MCP 工具(按 profile 白名单过滤),一起随 system prompt 发给模型。
// 压缩回合也照发:tools 段在最前,删掉等于断整段前缀缓存(尾部指令已写明不要调用工具)。
const tools = effectiveTools(profileName);
let result = null;
let lastErr = null;
@@ -849,6 +886,9 @@ async function runLoopInner(sessionId, run) {
// 后续对话从这条摘要开始,旧历史不再烧 token。
// 旧摘要行(多轮压缩)一并存档:被新摘要覆盖替代,不再进上下文。
run.summarizing = null;
// 摘要已落地:清掉本回合的 In 峰值,后续轮次按压缩后的新上下文重新计量。
// 不清就会拿旧值立刻再触发一次(死循环);清了则压完仍超还能再压(支持连续压缩)。
run.turnMaxPt = 0;
if ((msgRow.content || '').trim()) {
db.prepare("UPDATE messages SET type = 'summary' WHERE id = ?").run(assistantId);
const n = db.prepare(
@@ -1362,6 +1402,8 @@ function postUserMessage(sessionId, content, opts) {
// 预建/更新 run 记录,记下本轮的 deepThink(被 runLoop / callModel 读取)
const run = getRun(sessionId, true);
run.deepThink = !!(opts && opts.deepThink);
// 随消息落库:重进会话按它回填按钮,压缩回合也读它
db.prepare('UPDATE sessions SET deep_think = ? WHERE id = ?').run(run.deepThink ? 1 : 0, sessionId);
// 真实用户消息到达:若还有个「尚未开跑」的压缩回合(见 summarizeContext),
// 让它作废,避免新消息被误当成压缩回合处理;已在跑(looping)的不动,
// 由其收尾时自行清空 summarizing。
@@ -1465,10 +1507,10 @@ function summarizeContext(sessionId) {
}
const prompt = '正在压缩上下文:AI 将基于完整对话记录生成摘要…';
// 与 postUserMessage 同样的唤醒语义(不再排队、不落消息行);run.summarizing 标记本回合为压缩回合,摘要产出后由 runLoopInner 清空。
// 状态流转时顺带重置 deepThink:压缩回合不需要思考参数,避免沿用上一轮的残留值。
// 思考参数跟会话当前状态(由发消息时落库),换开关就换请求体,历史字节不受影响。
const r = getRun(sessionId, true);
r.summarizing = true;
r.deepThink = false;
r.deepThink = !!session.deep_think;
ensureBinding(session);
touch(sessionId, { status: 'active', held_at: null, completed_at: null, cancelled_at: null });
emitStatus(sessionId);
+32
View File
@@ -0,0 +1,32 @@
// 统一 HTTP 错误出口(Express 的四参数错误中间件,必须在所有路由之后注册)。
//
// 存在理由:Express 默认错误处理器只有 NODE_ENV=production 时才回一句干净的 500,
// 其余环境把 err.stack 拼成 HTML 吐给请求方——里面是服务端绝对路径、源码文件名+行号、
// 依赖版本。本地形态 NODE_ENV 通常未设置,等于默认开启。而 /p/<id> 这类端点匿名可达
// (见 routes/public-files.js),一次 sendFile 失败就能把整份栈打到公网。
//
// 策略:状态码照旧透出(body-parser 的 400/413、send 的 404 都靠它,客户端要能区分),
// 正文永远固定一句,栈只进日志。
'use strict';
const log = require('./log');
// 只认 err.status / err.statusCode 里的合法 4xx-5xx;其余(含没状态码的普通 Error)一律 500。
function statusOf(err) {
const s = Number(err && (err.status || err.statusCode));
return s >= 400 && s <= 599 ? s : 500;
}
function errorHandler(err, req, res, next) { // eslint-disable-line no-unused-vars
const status = statusOf(err);
const where = (req && req.method ? req.method + ' ' + (req.originalUrl || req.url || '') : '(unknown)');
// 5xx = 未预期异常,栈进日志;4xx 是调用方问题,一行 message 足够。
if (status >= 500) log.error('http', where + ' → ' + status + ':' + ((err && err.stack) || err));
else log.warn('http', where + ' → ' + status + ':' + ((err && err.message) || err));
if (res.headersSent) { if (res.destroy) res.destroy(); return; } // 响应已开始,只能断开
res.removeHeader('Content-Disposition'); // 可能已被 download-send 设过,错误体不该带文件名
res.status(status).type('text').send(status >= 500 ? 'internal error' : 'request failed');
}
module.exports = { errorHandler, statusOf };
+11 -8
View File
@@ -683,19 +683,22 @@ async function callModel(cfg, modelId, messages, tools, options) {
if (opts.deepThink && modelCfg.thinking_params && Object.keys(modelCfg.thinking_params).length) {
deepMergeInto(body, modelCfg.thinking_params);
}
// 思维链回传(逐模型 opt-in,纯配置闸门不看 tools):reasoning_ack_field 非空时,把
// buildMessages 挂的内部键 __reasoning 按该字段名写回 assistant 行(对话/压缩/标题回合同规则;
// 没配/无思考的行零变化)。无论配与否都剥一遍 __reasoning,内部键不出仓库。
// 思维链回传(逐模型 opt-in):开思考时把 buildMessages 挂的内部键 __reasoning 按
// reasoning_ack_field 写回 assistant 行;关思考时整段不发。带 tool_calls 的行缺思维链
// 时用空串占位(缺失会被上游 400,空串实测通过)。__reasoning 是内部键,任何情况都剥。
if (body.messages && body.messages.length) {
const ack = modelCfg.reasoning_ack_field;
// 思考模式下带 tool_calls 的 assistant 行必须回传 reasoning_content:中途开启思考时,
// 本轮早先的调用没有思维链,用空串占位(缺失会被上游 400,空串实测通过)。
const send = !!(ack && opts.deepThink);
body.messages = body.messages.map(mm => {
if (!mm || mm.role !== 'assistant') return mm;
const fill = !!(opts.deepThink && ack && mm.tool_calls && !mm.__reasoning);
if (!mm.__reasoning && !fill) return mm;
if (!mm.__reasoning) {
if (!send || !mm.tool_calls) return mm;
const c = Object.assign({}, mm);
if (ack) c[ack] = c.__reasoning || '';
c[ack] = '';
return c;
}
const c = Object.assign({}, mm);
if (send) c[ack] = mm.__reasoning;
delete c.__reasoning;
return c;
});
+1 -1
View File
@@ -161,7 +161,7 @@
view: 'welcome', // welcome | chat
mode: 'secretary', // 新建会话默认助手类型(欢迎页已去掉模式切换,不再可变)
sessionType: 'secretary', // 当前会话的助手类型(建档时锁定,后续不随模式切换变更)
deepThink: false, // 深度思考开关(仅本地视觉状态,无后端参数)
deepThink: false, // 深度思考开关(发消息时落库到 sessions.deep_think,重进会话回填)
pendingModel: '', // welcome 预选模型(ensureSession 建档时透传 model_id)
sessionId: null, // 当前会话
sessionTitle: '', // 当前会话标题
+3
View File
@@ -223,6 +223,9 @@
const detail = await req('GET', '/api/sessions/' + id + '?limit=' + CHAT_INIT_PAGE_SIZE);
if (state.sessionId !== id) return; // 期间已切到别的会话
renderDetail(detail);
// 深度思考跟随会话(发消息时落库):只在这里回填,软刷新不动用户未发出的切换
state.deepThink = !!(detail.session && detail.session.deep_think);
$('deep-think-btn').classList.toggle('on', state.deepThink);
connectStream();
if (window.refreshFileTree) window.refreshFileTree();
} catch (e) {
+11 -1
View File
@@ -1260,7 +1260,7 @@
}
function pfNewModel() {
const r = { ref: null, id: '', vision: true, enable: true, display_name: '', profile: '',
extra_params: '', thinking_params: '', reasoning_ack_field: '', adv: false };
extra_params: '', thinking_params: '', reasoning_ack_field: '', max_context: 0, adv: false };
if (pfEdit) applyModelDefaults(r, pfEdit.preset);
return r;
}
@@ -1283,6 +1283,7 @@
extra_params: pfJsonText(m.extra_params),
thinking_params: pfJsonText(m.thinking_params),
reasoning_ack_field: m.reasoning_ack_field || '',
max_context: Number(m.max_context) || 0,
adv: false,
})),
};
@@ -1363,6 +1364,7 @@
'<label class="mpe-line"><span>请求参数</span><textarea rows="2" spellcheck="false" placeholder=\'{"key":"value"}\' oninput="sUI.mModField(' + i + ',\'extra_params\',this.value)">' + esc(r.extra_params) + '</textarea></label>' +
'<label class="mpe-line"><span>思考参数</span><textarea rows="2" spellcheck="false" placeholder=\'{"reasoning_effort":"max"}\' oninput="sUI.mModField(' + i + ',\'thinking_params\',this.value)">' + esc(r.thinking_params) + '</textarea></label>' +
'<label class="mpe-line"><span>思考链回传</span><input type="text" placeholder="回传字段名" value="' + att(r.reasoning_ack_field) + '" oninput="sUI.mModField(' + i + ',\'reasoning_ack_field\',this.value)"></label>' +
'<label class="mpe-line"><span>压缩阈值</span><input type="number" min="0" step="1000" placeholder="0=不自动压缩" value="' + att(r.max_context || 0) + '" oninput="sUI.mModField(' + i + ',\'max_context\',this.value)"></label>' +
'</div>' : '';
return '<div class="mpe-mcard">' +
'<div class="mpe-row">' +
@@ -1426,6 +1428,8 @@
if (Object.keys(tp).length) nv.thinking_params = tp;
const ra = String(r.reasoning_ack_field || '').trim();
if (ra) nv.reasoning_ack_field = ra;
const mc = Math.max(0, parseInt(r.max_context, 10) || 0);
if (mc) nv.max_context = mc;
return nv;
}
// 根据工作态算批量编辑:原地改(值变更项) → 删行(降序) → 新增行(append)。
@@ -1502,6 +1506,12 @@
} else if (ra !== curRa) {
edits.push({ path: mp.concat('reasoning_ack_field'), value: ra });
}
// 压缩阈值:0 = 删键(缺省不写),避免无意义重写文件
const curMc = Number(om.max_context) || 0;
const mc = Math.max(0, parseInt(r.max_context, 10) || 0);
if (mc !== curMc) {
edits.push(mc ? { path: mp.concat('max_context'), value: mc } : { path: mp.concat('max_context'), op: 'delete' });
}
} else {
edits.push({ op: 'append', path: ['platforms', pfEdit.idx, 'models'], value: pfModelValue(r) });
}
+6
View File
@@ -179,6 +179,12 @@ app.get('/api/health', (req, res) => {
});
});
// 统一错误出口:**必须最后挂**(Express 按注册顺序挑错误中间件,挂在路由前等于没挂)。
// 没有它,任何路由漏出的异常(最典型:res.sendFile 的异步失败)都会落到 Express 默认
// 处理器,在非 production 环境下把 err.stack 拼成 HTML 吐给请求方,泄露服务端绝对路径、
// 源码行号与依赖版本——/p/<id> 是匿名可达端点,这份栈等于公开。详见 error-handler.js。
app.use(require('./error-handler').errorHandler);
const PORT = process.env.PORT || cfg.port;
// 监听地址:不设 = 0.0.0.0(容器/服务器形态,宿主机端口映射靠它)。
// 本机 local 模式由 local/start.sh 注入 HOST=127.0.0.1:单机自用不该让同一局域网的人直接访问。