多模态投递定案:探针矩阵证伪「每轮一张」限流与外链嫌疑,合并消息按官方形态收敛——DeepSeek 视觉受控实验(纯色条 ground-truth 图 × prompt_tokens 差值 × /p 外部取用日志,三源交叉):data URL 单/双图、/p 外链单/双图(自签 https+attachment 头)、tool 回执后 user 合并形态、真实微信截图逐字 OCR,9 项全 PASS;生产 DB usage.pt 实测每图轮 +600~1000——14:33 时图早已进入上下文,"看不见"是弱模型叙事惯性而非投递失败。据此采纳评审可落地三条:llm.js 合并 user 消息改 text 置顶排布(逐图对应说明合并进首段文字、图块按回执顺序紧随,对齐官方示例形态),首段明说「不是用户新输入」并附「先逐张简述再继续」指令兼作送达自检;"已消费"分界从任意 assistant 收紧为最后一条无 tool_calls 的收尾 assistant(中间只发 tool_calls 的轮次不算已阅,图继续留在上下文直到模型真正答复过,鲁棒优先于极致省 token)。engine.js 撤 imgThisTurn 每轮一张批次限流(多图实测可行,该限流是为误诊买的保险),保留同回合同图去重护栏(本轮实测 11:51 式 40 连读已收敛为 1 次挡回+如实上报);「发送形态」debug 日志转常驻观测。definitions.json read_file 图片段与 ARCHITECTURE 图片链路、陷阱 7 同步(含诊断三源方法论:发送形态日志/外部取用行/pt 增量)。探针实验产物已全部清理;docker-compose.yml 为用户自改不在本次提交。
This commit is contained in:
+3
-11
@@ -566,7 +566,6 @@ async function runLoopInner(sessionId, run) {
|
||||
const txt = String(m.content || '');
|
||||
return m.role + (m.tool_calls ? '[calls]' : '')
|
||||
+ (txt.includes('图片数据已省略') ? '[图已省]' : '')
|
||||
+ (txt.includes('每轮只能携带一张图片') ? '[图被限流]' : '')
|
||||
+ (txt.includes('本回合已投递过') ? '[图重复读挡回]' : '');
|
||||
}).join(' '));
|
||||
}
|
||||
@@ -677,8 +676,6 @@ async function runLoopInner(sessionId, run) {
|
||||
// 执行工具
|
||||
const vision = modelVision(session);
|
||||
let handoffDone = false; // 本批工具里是否有 handoff 成功返回(批量跑完统一切换,见循环尾注释)
|
||||
// 本批(=本次模型调用可见范围)是否已放行过一张图;随 while 每轮迭代重置。
|
||||
let imgThisTurn = false;
|
||||
for (const tc of msgRow.tool_calls) {
|
||||
if (run.cancelled) break;
|
||||
const id = tc.id;
|
||||
@@ -720,21 +717,16 @@ async function runLoopInner(sessionId, run) {
|
||||
outText = String(output == null ? '' : output);
|
||||
}
|
||||
if (run.cancelled && !isError) outText = (outText ? outText + '\n' : '') + '(用户已终止任务)';
|
||||
// 死循环护栏(实测:多图同时进上下文时部分上游只认一张;叠加催读文案会让模型整轮重读同一批图、
|
||||
// 每轮都签新图烧 token 直到迭代耗尽):
|
||||
// ① 每次模型调用最多携带一张图:同批后续图回执降级为文字,让模型下一轮单独再读,逐轮收敛;
|
||||
// ② 同回合同一张图只投递一次:已投递过的再读只回文字提示(run 随回合销毁,新回合自动重置额度)。
|
||||
// 死循环护栏:同回合内同一张图只投递一次——上游能认多图(探针实测同消息双外链全对),
|
||||
// 不再按批次限流;但模型若因惯性叙事反复重读同一文件,每轮都签新图就是纯烧 token,
|
||||
// 故已投递过的图再读只回文字提示(run 随回合销毁,新回合自动重置,追问重看不受影响)。
|
||||
if (imageRel) {
|
||||
if (!run.imgDelivered) run.imgDelivered = new Set();
|
||||
if (run.imgDelivered.has(imageRel)) {
|
||||
outText += '\n[该图片本回合已投递过,不再重复携带;若你未看到它,请直接告知用户,勿反复重读同一文件]';
|
||||
imageRel = null;
|
||||
} else if (imgThisTurn) {
|
||||
outText += '\n[每轮只能携带一张图片,本张未投递:请在下一轮单独 read_file 本文件查看]';
|
||||
imageRel = null;
|
||||
} else {
|
||||
run.imgDelivered.add(imageRel);
|
||||
imgThisTurn = true;
|
||||
}
|
||||
}
|
||||
log.debug('tool', sessionId + ' ' + tc.function.name + (isError ? ' 失败: ' : ' 完成: ') + outText);
|
||||
|
||||
Reference in New Issue
Block a user