refactor(memory): 记忆分层定稿——存储永久 + 注入最近10条碎片 + 摘要输入去噪
调试页实看后的五条评审修正:
1. 分层语义(原 retain_days=7「到期即忘」否决——虚拟人的过去不能抹):
- 存储默认永久(retain_days: 0=不删;正数才按天硬裁,留给隐私抹除场景);
- 新会话开场注入改为「最近 inject_max 条碎片」(默认 10,跨天全局取新、
天内正序、近日在前),不再按天整包灌——摘要太多会挤上下文。
2. 碎片头行去会话标题:【标题 · sid】→【sid】。标题无信息量、会带偏摘要
复述标题,还会干扰 AI 对当下任务的判断;sid 保留(去重键 + M3 下钻索引)。
3. 成果文件列表退出记忆:摘要输入不再喂任务目录清单(杂物多,诱导 AI 把
临时文件当成果),改为让摘要从对话本身识别真交付;降级碎片只留
「按会话 id 回忆」指引。存在性判定天然落在 M3 回忆(到时现查目录)。
4. 画像快照删除「近期关注」(现取最近5条会话标题):与日记重叠且干扰判断,
列与数据保留不读写。
5. 调试页/接口同步新语义:meta 条显示注入上限与存储策略(永久/N天),
碎片头链接正则适配新格式【task-xxx】。
探针 8 项全过(全局最近N跨天续取/天内正序/永不删/硬裁/inject硬帽/关注入)。
memory.js 删去 isEnabled/recentDays/MAX_RETAIN(整体关闭概念随永久语义消亡)。
This commit is contained in:
+56
-44
@@ -1,58 +1,62 @@
|
||||
// 长期记忆(日记):微信通道拟人化工程的 M0 地基——纯存储与渲染,不碰模型
|
||||
// 长期记忆(日记):微信通道拟人化的记忆地基——纯存储与渲染,不碰模型
|
||||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 失败降级)。
|
||||
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
|
||||
// 日记记「我近几天帮他做过什么」(事件记忆、按天条目),两类记忆互不混。
|
||||
// 规则:
|
||||
// - (user, day) 一行;碎片 = 会话收口(下班)时生成的一小段第一人称记录,
|
||||
// 按【收口当日】入条目(时间线跟下班日走,长跨度会话不会把记忆落进已裁掉的旧日期);
|
||||
// 同日多碎片按到达顺序拼接,不做 LLM 二次合并(确定性、零成本,每片本身已是条目化短文本);
|
||||
// - sid 去重:同一会话向同一天的条目只贡献一次碎片(防轮换竞态双写;代价:同一会话
|
||||
// 被 /switch 捡回再离开时第二片同样被挡——M0 接受的简化,粒度留到轮换触发接线时复盘);
|
||||
// - memory.retain_days = 保留窗口(默认 7 天,硬帽 MAX_RETAIN);0 = 整体关闭(不写不读不裁)。
|
||||
// 日记记「我近来做帮他做过什么」(事件记忆),两类记忆互不混。
|
||||
// 记忆分层(评审定稿):
|
||||
// - 存储默认永久:会话收口(4h 空闲 / 设定定时任务)= 一条几十字的第一人称碎片,按【收口当日】
|
||||
// 入 (user, day) 条目;同日多片按到达顺序拼接,不做 LLM 二次合并(确定性、零成本)——
|
||||
// 虚拟人的过去不能到点就抹,「只记 7 天」会把人做成金鱼;
|
||||
// - 注入 =「嘴上的工作记忆」:新会话开场只带最近 inject_max 条碎片(默认 10),更早的记忆
|
||||
// 不自动出现但也没消失——等 M3 回忆工具按会话 id 下钻;
|
||||
// - retain_days > 0 才按天硬裁(默认 0 = 永不删除),留给确要自动清理/隐私抹除的场景。
|
||||
// - sid 去重:同一会话只贡献一条碎片(防收口竞态双写;主闸是 sessions.journaled_at 物理占坑,
|
||||
// 这里是末道防线)。
|
||||
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
|
||||
|
||||
const TZ = 'Asia/Shanghai';
|
||||
const MAX_RETAIN = 30;
|
||||
const INJECT_CAP = 50; // inject_max 硬帽:防配置手滑把整个日记灌进上下文
|
||||
const DAY_MAX = 4000; // 单日条目长度帽:溢出从头部裁(保最近片段)
|
||||
const FRAG_MAX = 600; // 单碎片长度帽(含【标题 · sid】头行)
|
||||
const FRAG_MAX = 600; // 单碎片长度帽(含【会话id】头行)
|
||||
|
||||
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天,窗外条目物理删除。
|
||||
function retainDays(cfg) {
|
||||
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
|
||||
return Math.max(0, Math.min(MAX_RETAIN, n));
|
||||
return n > 0 ? n : 0;
|
||||
}
|
||||
// 开场注入条数上限:0 = 只记录、不自动注入(回忆仍可查)。
|
||||
function injectMax(cfg) {
|
||||
const n = Math.floor(Number((cfg && cfg.memory || {}).inject_max) || 0);
|
||||
return Math.max(0, Math.min(INJECT_CAP, n));
|
||||
}
|
||||
function isEnabled(cfg) { return retainDays(cfg) > 0; }
|
||||
|
||||
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD'
|
||||
function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); }
|
||||
|
||||
// 近 n 天窗口(含今天),数组按日期降序(新在前)。
|
||||
function recentDays(cfg, refMs) {
|
||||
// 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。
|
||||
function cutoffDay(cfg, refMs) {
|
||||
const n = retainDays(cfg);
|
||||
const out = [];
|
||||
const t = Number(refMs) || Date.now();
|
||||
for (let i = 0; i < n; i++) out.push(dayString(t - i * 86400000));
|
||||
return out;
|
||||
return n ? dayString((Number(refMs) || Date.now()) - (n - 1) * 86400000) : '';
|
||||
}
|
||||
|
||||
// ---------- 写:碎片追加进对应天条目 ----------
|
||||
// sid 三重角色:去重标记 / 条目里的下钻索引(M3 回忆按它取旧会话详情与成果文件)/ 溯源。
|
||||
// 返回值三态:'added' 新落 / 'dupe' 该会话已有碎片(去重命中)/ 'off' 功能关闭或空文。
|
||||
// 调用方(engine 收口链路)把 added 与 dupe 都视为「已收口」落 journaled 标记,不重试不重复摘要。
|
||||
// 返回值:'added' 新落 / 'dupe' 该会话已有碎片 / 'invalid' 空输入。
|
||||
// 收口链路把 added 与 dupe 都视为「已收口」落 journaled 标记,不重试不重复摘要。
|
||||
function appendFragment(db, cfg, user, day, text, sid) {
|
||||
if (!isEnabled(cfg) || !day) return 'off';
|
||||
if (!day) return 'invalid';
|
||||
const frag = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||||
if (!frag) return 'off';
|
||||
if (!frag) return 'invalid';
|
||||
const key = String(user || '');
|
||||
const row = db.prepare('SELECT content FROM memory_entries WHERE user = ? AND day = ?').get(key, day);
|
||||
const base = row ? String(row.content) : '';
|
||||
if (sid && base.includes(String(sid))) return 'dupe'; // 本会话已入当天日记
|
||||
if (sid && base.includes(String(sid))) return 'dupe'; // 本会话已入日记
|
||||
let next = base ? base + '\n\n' + frag : frag;
|
||||
if (next.length > DAY_MAX) next = next.slice(next.length - DAY_MAX);
|
||||
db.prepare(
|
||||
'INSERT INTO memory_entries (user, day, content, updated_at) VALUES (?,?,?,?)'
|
||||
+ ' ON CONFLICT(user, day) DO UPDATE SET content = excluded.content, updated_at = excluded.updated_at'
|
||||
).run(key, day, next, Date.now());
|
||||
prune(db, cfg); // 裁剪就一条廉价 DELETE,每次追加顺带做,表恒在保留窗内
|
||||
prune(db, cfg); // 裁剪就一条廉价 DELETE,每次追加顺带做(retain_days=0 时 no-op)
|
||||
return 'added';
|
||||
}
|
||||
|
||||
@@ -63,34 +67,42 @@ function markJournaled(db, sessionId, ms) {
|
||||
.run(Number(ms) || Date.now(), String(sessionId));
|
||||
}
|
||||
|
||||
// ---------- 读:渲染成可注入会话上下文的日记文本(M2 的数据源) ----------
|
||||
// 无记忆返回 '';天降序(新在前);头行说明 sid 用途,AI 自然知道可以下钻。
|
||||
// ---------- 读:开场注入文本(wechat.js 的数据源) ----------
|
||||
// 全库取最近 inject_max 条碎片(不限天):天降序、天内正序;渲染按天分组(新日在前)。
|
||||
// 更早的记忆不在此出现但仍在库里——M3 回忆按会话 id 下钻。
|
||||
function journalFor(db, cfg, user) {
|
||||
const n = retainDays(cfg);
|
||||
if (!n) return '';
|
||||
const days = recentDays(cfg);
|
||||
const rows = db.prepare(
|
||||
'SELECT day, content FROM memory_entries WHERE user = ? AND day IN ('
|
||||
+ days.map(() => '?').join(',') + ') ORDER BY day DESC'
|
||||
).all(String(user || ''), ...days);
|
||||
if (!rows.length) return '';
|
||||
const head = '【长期记忆·日记(近' + n + '天)】近期交互的当日事件记录;'
|
||||
+ '各条【标题 · 编号】里的编号是当时会话的 id,可用它回溯那次工作。';
|
||||
const cap = injectMax(cfg);
|
||||
if (!cap) return '';
|
||||
const rows = db.prepare('SELECT day, content FROM memory_entries WHERE user = ? ORDER BY day DESC').all(String(user || ''));
|
||||
const picked = []; // { day, frag },全局新在前
|
||||
for (const r of rows) {
|
||||
const frags = String(r.content || '').split('\n\n').filter(Boolean);
|
||||
for (let i = frags.length - 1; i >= 0 && picked.length < cap; i--) picked.push({ day: r.day, frag: frags[i] });
|
||||
if (picked.length >= cap) break;
|
||||
}
|
||||
if (!picked.length) return '';
|
||||
const groups = []; // 按天分组,天内恢复到达顺序
|
||||
for (const p of picked) {
|
||||
if (!groups.length || groups[groups.length - 1].day !== p.day) groups.push({ day: p.day, frags: [] });
|
||||
groups[groups.length - 1].frags.unshift(p.frag);
|
||||
}
|
||||
const head = '【长期记忆·日记(最近' + picked.length + '条)】收工时的当日事件摘要,近日的在前、天内按发生顺序;'
|
||||
+ '每条【编号】是来源会话 id,可用于回溯那次工作的对话与成果。';
|
||||
const parts = [head];
|
||||
for (const r of rows) parts.push('=== ' + r.day + ' ===\n' + r.content);
|
||||
for (const g of groups) parts.push('=== ' + g.day + ' ===\n' + g.frags.join('\n\n'));
|
||||
return parts.join('\n\n');
|
||||
}
|
||||
|
||||
// ---------- 裁剪:day 为 ISO 串,字典序即日期序 ----------
|
||||
// ---------- 裁剪:day 为 ISO 串,字典序即日期序;默认永久存储为 no-op ----------
|
||||
function prune(db, cfg) {
|
||||
const days = recentDays(cfg);
|
||||
if (!days.length) return 0;
|
||||
const res = db.prepare('DELETE FROM memory_entries WHERE day < ?').run(days[days.length - 1]);
|
||||
const cutoff = cutoffDay(cfg);
|
||||
if (!cutoff) return 0;
|
||||
const res = db.prepare('DELETE FROM memory_entries WHERE day < ?').run(cutoff);
|
||||
return res.changes || 0;
|
||||
}
|
||||
|
||||
module.exports = {
|
||||
isEnabled, retainDays, dayString, recentDays,
|
||||
retainDays, injectMax, dayString, cutoffDay,
|
||||
appendFragment, markJournaled, journalFor, prune,
|
||||
MAX_RETAIN, DAY_MAX, FRAG_MAX,
|
||||
INJECT_CAP, DAY_MAX, FRAG_MAX,
|
||||
};
|
||||
|
||||
Reference in New Issue
Block a user