多模态投递定案:探针矩阵证伪「每轮一张」限流与外链嫌疑,合并消息按官方形态收敛——DeepSeek 视觉受控实验(纯色条 ground-truth 图 × prompt_tokens 差值 × /p 外部取用日志,三源交叉):data URL 单/双图、/p 外链单/双图(自签 https+attachment 头)、tool 回执后 user 合并形态、真实微信截图逐字 OCR,9 项全 PASS;生产 DB usage.pt 实测每图轮 +600~1000——14:33 时图早已进入上下文,"看不见"是弱模型叙事惯性而非投递失败。据此采纳评审可落地三条:llm.js 合并 user 消息改 text 置顶排布(逐图对应说明合并进首段文字、图块按回执顺序紧随,对齐官方示例形态),首段明说「不是用户新输入」并附「先逐张简述再继续」指令兼作送达自检;"已消费"分界从任意 assistant 收紧为最后一条无 tool_calls 的收尾 assistant(中间只发 tool_calls 的轮次不算已阅,图继续留在上下文直到模型真正答复过,鲁棒优先于极致省 token)。engine.js 撤 imgThisTurn 每轮一张批次限流(多图实测可行,该限流是为误诊买的保险),保留同回合同图去重护栏(本轮实测 11:51 式 40 连读已收敛为 1 次挡回+如实上报);「发送形态」debug 日志转常驻观测。definitions.json read_file 图片段与 ARCHITECTURE 图片链路、陷阱 7 同步(含诊断三源方法论:发送形态日志/外部取用行/pt 增量)。探针实验产物已全部清理;docker-compose.yml 为用户自改不在本次提交。

This commit is contained in:
2026-09-28 16:27:00 +08:00
parent 85ade78cec
commit b4d39675ec
4 changed files with 41 additions and 28 deletions
+3 -11
View File
@@ -566,7 +566,6 @@ async function runLoopInner(sessionId, run) {
const txt = String(m.content || '');
return m.role + (m.tool_calls ? '[calls]' : '')
+ (txt.includes('图片数据已省略') ? '[图已省]' : '')
+ (txt.includes('每轮只能携带一张图片') ? '[图被限流]' : '')
+ (txt.includes('本回合已投递过') ? '[图重复读挡回]' : '');
}).join(' '));
}
@@ -677,8 +676,6 @@ async function runLoopInner(sessionId, run) {
// 执行工具
const vision = modelVision(session);
let handoffDone = false; // 本批工具里是否有 handoff 成功返回(批量跑完统一切换,见循环尾注释)
// 本批(=本次模型调用可见范围)是否已放行过一张图;随 while 每轮迭代重置。
let imgThisTurn = false;
for (const tc of msgRow.tool_calls) {
if (run.cancelled) break;
const id = tc.id;
@@ -720,21 +717,16 @@ async function runLoopInner(sessionId, run) {
outText = String(output == null ? '' : output);
}
if (run.cancelled && !isError) outText = (outText ? outText + '\n' : '') + '(用户已终止任务)';
// 死循环护栏(实测:多图同时进上下文时部分上游只认一张;叠加催读文案会让模型整轮重读同一批图、
// 每轮都签新图烧 token 直到迭代耗尽):
// ① 每次模型调用最多携带一张图:同批后续图回执降级为文字,让模型下一轮单独再读,逐轮收敛;
// ② 同回合同一张图只投递一次:已投递过的再读只回文字提示(run 随回合销毁,新回合自动重置额度)。
// 死循环护栏:同回合内同一张图只投递一次——上游能认多图(探针实测同消息双外链全对),
// 不再按批次限流;但模型若因惯性叙事反复重读同一文件,每轮都签新图就是纯烧 token,
// 故已投递过的图再读只回文字提示(run 随回合销毁,新回合自动重置,追问重看不受影响)。
if (imageRel) {
if (!run.imgDelivered) run.imgDelivered = new Set();
if (run.imgDelivered.has(imageRel)) {
outText += '\n[该图片本回合已投递过,不再重复携带;若你未看到它,请直接告知用户,勿反复重读同一文件]';
imageRel = null;
} else if (imgThisTurn) {
outText += '\n[每轮只能携带一张图片,本张未投递:请在下一轮单独 read_file 本文件查看]';
imageRel = null;
} else {
run.imgDelivered.add(imageRel);
imgThisTurn = true;
}
}
log.debug('tool', sessionId + ' ' + tc.function.name + (isError ? ' 失败: ' : ' 完成: ') + outText);