From bca41f3c7eda72a380a9f0aa9293429a2dce8b76 Mon Sep 17 00:00:00 2001 From: kicer Date: Mon, 21 Sep 2026 21:52:52 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BC=98=E5=8C=96=E4=BB=BB=E5=8A=A1=E6=96=87?= =?UTF-8?q?=E4=BB=B6=E7=AA=97=E5=8F=A3=E6=98=BE=E7=A4=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/server/engine.js | 36 ++++++++++++++++++++++++----------- app/server/llm.js | 21 ++++++++++++++------ app/server/public/index.html | 2 +- app/server/public/js/chat.js | 7 ++++++- app/server/public/js/files.js | 19 ++++++++++++++---- app/server/routes/files.js | 3 ++- app/server/routes/sessions.js | 2 ++ app/server/tools/executor.js | 26 +++++++++++++++++-------- app/test/smoke.js | 13 ++++++++----- docs/ARCHITECTURE.md | 6 +++--- 10 files changed, 95 insertions(+), 40 deletions(-) diff --git a/app/server/engine.js b/app/server/engine.js index 42ff29d..cb7ec78 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -4,6 +4,7 @@ const fs = require('fs'); const path = require('path'); const { buildMessages, callModel, encodeBlocks, compressMessages, titleMessages } = require('./llm'); const { executeTool, resolveInTask } = require('./tools/executor'); +const publicFiles = require('./public-files'); const mcp = require('./mcp'); const log = require('./log'); @@ -513,10 +514,20 @@ async function runLoopInner(sessionId, run) { // 压缩回合(run.summarizing = 由「压缩」按钮发起、尚未产出摘要): // 沿用默认 system prompt + 正常历史,末尾追加一条压缩指令 user(见 llm.compressMessages); // 且不传 tools,模型只能输出摘要文本。 + // 发送前为历史里的 image_ref 块现签公网外链(GET /p/,同 mint_public_link): + // 每次请求重签,回合内多轮迭代/重试永不过期;DB 只存几十字符的 rel,base64 不进库不进请求体。 + // base_url 未配/mint 异常时返回 null,buildMessages 降级为文字占位。 + const mintImageUrl = (rel) => { + const pl = cfg.public_link || {}; + if (!pl.base_url) return null; + try { + return pl.base_url + '/p/' + publicFiles.mint({ sessionId: sessionId, rel, ttlMs: pl.ttl_ms }); + } catch (_) { return null; } + }; const compressing = !!run.summarizing; const messages = compressing - ? compressMessages(session, (cfg.agent || {}).language) - : buildMessages(session, (cfg.agent || {}).language); + ? compressMessages(session, (cfg.agent || {}).language, mintImageUrl) + : buildMessages(session, (cfg.agent || {}).language, mintImageUrl); // 内置工具 + 启动时发现的 MCP 工具,一起随 system prompt 发给模型(压缩回合不发) const tools = compressing ? [] : TOOL_DEFINITIONS.concat(mcp.toolDefinitions()); @@ -645,30 +656,33 @@ async function runLoopInner(sessionId, run) { isError = true; } } - // 工具可返回 {text, image_data_url}(read_file 读图且模型支持 vision): - // 落库时把图片以 image_url 内容块拼进 tool 消息(哨兵 JSON,见 llm.js encodeBlocks), - // buildMessages 发请求前还原为 OpenAI 内容块数组。 + // 工具可返回 {text, image_rel}(read_file 读图且模型支持 vision,压缩产物在 .imgcache/): + // 落库时以 image_ref 内容块拼进 tool 消息(哨兵 JSON,见 llm.js encodeBlocks), + // buildMessages 发请求前现签成公网外链的 image_url 块;前端工具卡走带 cookie 的下载路由渲染。 let outText; - let imageDataUrl = null; - if (output && typeof output === 'object' && output.image_data_url) { + let imageRel = null; + if (output && typeof output === 'object' && output.image_rel) { outText = String(output.text || ''); - imageDataUrl = String(output.image_data_url); + imageRel = String(output.image_rel); } else { outText = String(output == null ? '' : output); } if (run.cancelled && !isError) outText = (outText ? outText + '\n' : '') + '(用户已终止任务)'; log.debug('tool', sessionId + ' ' + tc.function.name + (isError ? ' 失败: ' : ' 完成: ') + outText); - const toolContent = imageDataUrl + const toolContent = imageRel ? encodeBlocks([ { type: 'text', text: outText }, - { type: 'image_url', image_url: { url: imageDataUrl } }, + { type: 'image_ref', rel: imageRel }, ]) : outText; // 先落库再广播:回执带上消息行 id(msg_id),前端工具卡据此挂「删除本条」按钮 const toolMsgId = saveMessage(sessionId, { role: 'tool', tool_call_id: id, name: tc.function.name, content: toolContent, is_error: isError }); bus.emit(sessionId, 'tool_result', { tool_call_id: id, name: tc.function.name, content: outText.slice(0, 20000), - is_error: isError, image_url: imageDataUrl || undefined, msg_id: toolMsgId, + is_error: isError, + // 实时工具卡预览图:带 cookie 的会话内下载路由(与历史重渲染同源),非 base64 + image_url: imageRel ? '/api/sessions/' + encodeURIComponent(sessionId) + '/files/download?path=' + encodeURIComponent(imageRel) : undefined, + msg_id: toolMsgId, }); } iter++; diff --git a/app/server/llm.js b/app/server/llm.js index 32a05cc..fe3be7a 100644 --- a/app/server/llm.js +++ b/app/server/llm.js @@ -95,7 +95,11 @@ function cachedDecodeBlocks(session, row) { } // 将 DB 消息行转为 OpenAI messages 数组(不含 system,由调用方拼接)。 -// 省 token:image_url 块仅在其位于最后一条 assistant 消息之后(模型尚未对它回复)时保留; +// 图片两种形态:旧库/用户粘贴附件的 image_url 块(data: URL)原样透传; +// 新版 read_file 读图存的是 image_ref 块({rel},指向任务目录 .imgcache/ 产物), +// 发送前用 mintUrl(rel)(engine 传入的公网链现签回调)换成 image_url 外链块, +// 签不到(base_url 未配等)降级为文字占位,绝不把 image_ref 这种非标准块发上游。 +// 省 token:图块仅在其位于最后一条 assistant 消息之后(模型尚未对它回复)时保留; // 之前的视为已消费,发请求时替换为文字标记。DB 始终存全量:UI 历史照常渲染图片, // 模型如需重看可再次 read_file(新消息在尾部,会重新携带图片)。 // 压缩摘要相关行(见 engine.runLoopInner / summarizeContext): @@ -109,7 +113,7 @@ function cachedDecodeBlocks(session, row) { // 关联 tool 回执按 id 一并跳过(否则会留下无 tool_call 配对的孤儿 tool 消息,上游拒收); // 改以一条 user 错误提示替代,让模型看到原因后重新生成工具调用 —— // 坏样本留在上下文里只会被模型继续模仿,反复报同一个错。 -function buildMessages(session, language) { +function buildMessages(session, language, mintUrl) { const messages = [{ role: 'system', content: systemPromptText(language) }]; const history = session.history; // 行被删除后清理残留的图片解析缓存条目(只增不清会缓慢泄漏;条数不会超过现存行数) @@ -171,7 +175,7 @@ function buildMessages(session, language) { } // errAck 轮的 tool 回执:随该轮一起丢弃,避免无主 tool 消息 if (row.role === 'tool' && dropToolCallIds.has(row.tool_call_id)) return; - // tool/user 行:含图哨兵 JSON 还原为内容块(解析结果按行 id 缓存);已消费的图剥掉 base64,只留文字描述 + 标记 + // tool/user 行:含图哨兵 JSON 还原为内容块(解析结果按行 id 缓存);已消费的图只留文字描述 + 标记 const blocks = cachedDecodeBlocks(session, row); let content = row.content || ''; if (blocks) { @@ -179,7 +183,12 @@ function buildMessages(session, language) { content = blocks.filter(b => b && b.type === 'text').map(b => b.text).join('\n') + '\n[图片数据已省略:模型此前已识别过本图;如需重新查看请再次调用 read_file]'; } else { - content = blocks; + // 未消费:image_ref → 现签公网外链(每次请求重签,不过期);其余块(含旧 data: URL)原样 + content = blocks.map(b => { + if (!b || b.type !== 'image_ref') return b; + const url = mintUrl ? mintUrl(b.rel) : null; + return url ? { type: 'image_url', image_url: { url } } : { type: 'text', text: '[图片外链不可用:请重新读取]' }; + }); } } if (row.role === 'tool') { @@ -195,8 +204,8 @@ function buildMessages(session, language) { //(与 buildMessages 同取舍:archived 不发、旧摘要/工具轮照常),末尾追加一条 user //(compress-prompt.txt 原文,历史就在它前面的 messages 里,不再填占位符)。 // 调用方(engine.runLoopInner 的 compressing 分支)需同时不传 tools。 -function compressMessages(session, language) { - const messages = buildMessages(session, language); +function compressMessages(session, language, mintUrl) { + const messages = buildMessages(session, language, mintUrl); messages.push({ role: 'user', content: COMPRESS_PROMPT_TEMPLATE }); return messages; } diff --git a/app/server/public/index.html b/app/server/public/index.html index 70c793b..4ce008d 100644 --- a/app/server/public/index.html +++ b/app/server/public/index.html @@ -199,7 +199,7 @@
- 任务文件 + 任务文件