refactor(memory): C 结构重构——memory_entries blob → memory_fragments 一片一行 + 事件日语义(含 B)
用户确认 blob 拼接莫名其妙、C 值得做;顺带把 B(日期取事件日)并入,一次到位。 结构:memory_fragments(user, session_id PK, day, text, created_at)。 - (user, session_id) 主键 = 「每会话唯一碎片」的存储级保证(原 LIKE sid 文本去重、dupe 三态语义全部消失;sessions.journaled_at 保留作扫描预排除); - day = 事件日(会话最后活跃日),不再记「收口当日」——人回忆问哪天干的活, 52 条积压碎片迁移后自动散布回 09-16~09-29 十一天真实日期; - text = 纯日记正文(- 行),【来源会话 id】只在渲染层拼(journalFor/search/day 输出), 存储零冗余元数据;FRAG_MAX 保留。 迁移(db.js,幂等):旧表存在才搬——按空行拆块、正则提取 task- id(兼容三代头格式), 解析不出的孤儿残块(DAY_MAX 时代遗物)丢弃,day 回填来源会话 updated_at,搬完 DROP。 线上实测:52 片全量搬家、孤儿 0、旧表已删。 memory.js 读写全换皮:journalFor(created_at 倒序取 inject_max、按天分组天内正序)、 searchFragments(逐行打分同前)、daysIndex(GROUP BY day)、dayEntry(WHERE day)、 prune(retain_days>0 才删)。engine 两处收口只改 day 来源与去【sid】头; 调试 API/页面按一片一卡 + 已注入徽章(= 全局最新 inject_max 片)。 探针 13 项全过:legacy 迁移(孤儿弃/事件日回填/text 零元数据)、死绑定候选链收口、 主键去重、注入窗、recall search/days/day 对新表全绿。
This commit is contained in:
+64
-83
@@ -1,30 +1,25 @@
|
||||
// 长期记忆(日记):微信通道拟人化的记忆地基——纯存储与渲染,不碰模型
|
||||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 失败降级)。
|
||||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。
|
||||
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
|
||||
// 日记记「我近来做帮他做过什么」(事件记忆),两类记忆互不混。
|
||||
// 记忆分层(评审定稿):
|
||||
// - 存储默认永久:会话收口(4h 空闲 / 设定定时任务)= 一条几十字的第一人称碎片,按【收口当日】
|
||||
// 入 (user, day) 条目;同日多片按到达顺序拼接,不做 LLM 二次合并(确定性、零成本)——
|
||||
// 虚拟人的过去不能到点就抹,「只记 7 天」会把人做成金鱼;
|
||||
// - 注入 =「嘴上的工作记忆」:新会话开场只带最近 inject_max 条碎片(默认 10);更早的记忆
|
||||
// 不自动出现但也没消失——recall 工具按会话 id 下钻(op=list 翻旧条目 / files/link 查成果文件);
|
||||
// - retain_days > 0 才按天硬裁(默认 0 = 永不删除),留给确要自动清理/隐私抹除的场景。
|
||||
// - sid 去重:同一会话只贡献一条碎片(防收口竞态双写;主闸是 sessions.journaled_at 物理占坑,
|
||||
// 这里是末道防线)。
|
||||
// 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。
|
||||
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at)。
|
||||
// - day = 事件日(会话最后活跃日):人回忆问的是「哪天干的活」,不是「哪天补记的」;
|
||||
// - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据;
|
||||
// - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除);
|
||||
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(created_at 倒序);更早的没消失——
|
||||
// recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 永不删)。
|
||||
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
|
||||
|
||||
const TZ = 'Asia/Shanghai';
|
||||
const INJECT_CAP = 50; // inject_max 硬帽:防配置手滑把整个日记灌进上下文
|
||||
const FRAG_MAX = 600; // 单碎片长度帽(含【会话id】头行)
|
||||
// 单日条目不设长度帽(曾有 DAY_MAX=4000 按字符合切——会把碎片削成孤儿残句,且职责已被
|
||||
// 两层取代:注入端 inject_max 按条数封顶,存储端 FRAG_MAX 限单碎片 + 每会话仅一片天然有界)。
|
||||
const FRAG_MAX = 600; // 单碎片正文长度帽
|
||||
|
||||
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天,窗外条目物理删除。
|
||||
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天的事件,更旧碎片物理删除。
|
||||
function retainDays(cfg) {
|
||||
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
|
||||
return n > 0 ? n : 0;
|
||||
}
|
||||
// 开场注入条数上限:0 = 只记录、不自动注入(回忆仍可查)。
|
||||
// 开场注入条数上限:0 = 只记录、不自动注入(recall 仍可查)。
|
||||
function injectMax(cfg) {
|
||||
const n = Math.floor(Number((cfg && cfg.memory || {}).inject_max) || 0);
|
||||
return Math.max(0, Math.min(INJECT_CAP, n));
|
||||
@@ -39,66 +34,56 @@ function cutoffDay(cfg, refMs) {
|
||||
return n ? dayString((Number(refMs) || Date.now()) - (n - 1) * 86400000) : '';
|
||||
}
|
||||
|
||||
// ---------- 写:碎片追加进对应天条目 ----------
|
||||
// sid 三重角色:去重标记 / 条目里的下钻索引(M3 回忆按它取旧会话详情与成果文件)/ 溯源。
|
||||
// 返回值:'added' 新落 / 'dupe' 该会话已有碎片 / 'invalid' 空输入。
|
||||
// 收口链路把 added 与 dupe 都视为「已收口」落 journaled 标记,不重试不重复摘要。
|
||||
function appendFragment(db, cfg, user, day, text, sid) {
|
||||
if (!day) return 'invalid';
|
||||
const frag = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||||
if (!frag) return 'invalid';
|
||||
const key = String(user || '');
|
||||
const row = db.prepare('SELECT content FROM memory_entries WHERE user = ? AND day = ?').get(key, day);
|
||||
const base = row ? String(row.content) : '';
|
||||
if (sid && base.includes(String(sid))) return 'dupe'; // 本会话已入日记
|
||||
let next = base ? base + '\n\n' + frag : frag;
|
||||
db.prepare(
|
||||
'INSERT INTO memory_entries (user, day, content, updated_at) VALUES (?,?,?,?)'
|
||||
+ ' ON CONFLICT(user, day) DO UPDATE SET content = excluded.content, updated_at = excluded.updated_at'
|
||||
).run(key, day, next, Date.now());
|
||||
prune(db, cfg); // 裁剪就一条廉价 DELETE,每次追加顺带做(retain_days=0 时 no-op)
|
||||
// ---------- 写:一片一行,主键即去重 ----------
|
||||
// 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。
|
||||
// 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。
|
||||
function appendFragment(db, cfg, user, sessionId, day, text) {
|
||||
const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||||
if (!sessionId || !day || !body) return 'invalid';
|
||||
const r = db.prepare(
|
||||
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at) VALUES (?,?,?,?,?)'
|
||||
).run(String(user || ''), String(sessionId), day, body, Date.now());
|
||||
if (!r.changes) return 'dupe';
|
||||
prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op
|
||||
return 'added';
|
||||
}
|
||||
|
||||
// 收口标记:每会话唯一碎片的物理保证(空闲/任务收口落地后置位;之后会话被再激活也不补碎片——
|
||||
// 记忆稳定性优先于完备,新工作值得新工作台)。
|
||||
// 收口标记:sessions.journaled_at 物理占坑(扫描预排除,防陈年空闲会话每轮重复烧摘要 LLM)。
|
||||
function markJournaled(db, sessionId, ms) {
|
||||
db.prepare('UPDATE sessions SET journaled_at = ? WHERE id = ? AND journaled_at IS NULL')
|
||||
.run(Number(ms) || Date.now(), String(sessionId));
|
||||
}
|
||||
|
||||
// ---------- 读:开场注入文本(wechat.js 的数据源) ----------
|
||||
// 全库取最近 inject_max 条碎片(不限天):天降序、天内正序;渲染按天分组(新日在前)。
|
||||
// 更早的记忆不在此出现但仍在库里——M3 回忆按会话 id 下钻。
|
||||
// ---------- 读:开场注入文本(wechat/web 新会话的数据源) ----------
|
||||
// 最近 inject_max 片(按收口时刻),渲染分天:新日在前、天内按发生顺序;【sid】头拼在这里。
|
||||
function renderFrag(r) { return '【' + r.session_id + '】\n' + r.text; }
|
||||
function journalFor(db, cfg, user) {
|
||||
const cap = injectMax(cfg);
|
||||
if (!cap) return '';
|
||||
const rows = db.prepare('SELECT day, content FROM memory_entries WHERE user = ? ORDER BY day DESC').all(String(user || ''));
|
||||
const picked = []; // { day, frag },全局新在前
|
||||
for (const r of rows) {
|
||||
const frags = String(r.content || '').split('\n\n').filter(Boolean);
|
||||
for (let i = frags.length - 1; i >= 0 && picked.length < cap; i--) picked.push({ day: r.day, frag: frags[i] });
|
||||
if (picked.length >= cap) break;
|
||||
}
|
||||
if (!picked.length) return '';
|
||||
const groups = []; // 按天分组,天内恢复到达顺序
|
||||
for (const p of picked) {
|
||||
if (!groups.length || groups[groups.length - 1].day !== p.day) groups.push({ day: p.day, frags: [] });
|
||||
groups[groups.length - 1].frags.unshift(p.frag);
|
||||
}
|
||||
const head = '【长期记忆·日记(最近' + picked.length + '条)】收工时的当日事件摘要,近日的在前、天内按发生顺序;'
|
||||
const rows = db.prepare(
|
||||
// 选取按事件日(积压补记/迁移会令 created_at 同刻扎堆,按收口序会拿到「最晚补记」而非「最新事件」;
|
||||
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按收口时刻。
|
||||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY day DESC, created_at DESC LIMIT ?'
|
||||
).all(String(user || ''), cap);
|
||||
if (!rows.length) return '';
|
||||
// 选取按收口序,展示按事件日重排(同日碎片可能异日落库,直接按日分组避免同一日出现两个头)
|
||||
rows.sort((a, b) => a.day < b.day ? 1 : a.day > b.day ? -1 : 0);
|
||||
const head = '【长期记忆·日记(最近' + rows.length + '条)】收工时的当日事件摘要,新在前、天内按发生顺序;'
|
||||
+ '每条【编号】是来源会话 id:更早的日记用 recall 工具 op=search 关键词检索、op=days 按日期翻页再 op=day 取整天;'
|
||||
+ '那次工作的成果文件用 op=files 查、op=link 取。';
|
||||
const parts = [head];
|
||||
for (const g of groups) parts.push('=== ' + g.day + ' ===\n' + g.frags.join('\n\n'));
|
||||
return parts.join('\n\n');
|
||||
const groups = [];
|
||||
for (const r of rows) {
|
||||
const g = groups[groups.length - 1];
|
||||
if (!g || g.day !== r.day) groups.push({ day: r.day, items: [renderFrag(r)] });
|
||||
else g.items.unshift(renderFrag(r));
|
||||
}
|
||||
return [head].concat(groups.map(g => '=== ' + g.day + ' ===\n' + g.items.join('\n\n'))).join('\n\n');
|
||||
}
|
||||
|
||||
// ---------- 读:关键词检索(recall 主入口:用户记起的是「一段事」不是「第几条」) ----------
|
||||
// 碎片级全库搜索:存储量小(每天一行、内容几十行),内存打分足够,不引入 FTS。
|
||||
// 分词:空白/标点切词(多词命中多者为先);单字命中 = 子串包含;CJK 长词未整串命中时
|
||||
// 按二元字组兼容(过半才算模糊命中,得分打折)——支撑「记个大概」的模糊查。英文词大小写不敏感。
|
||||
// 无命中返回 ''(友好提示由调用方给)。
|
||||
// 逐行内存打分(表行数=收口会话数,量级小到不值得建 FTS)。
|
||||
// 分词:空白/标点切词,多词命中多者为先;单词命中=子串包含(小写化);
|
||||
// CJK 长词整串不中时二元字组过半即模糊命中(得分 0.9 折算)——支撑「记个大概」。
|
||||
const CJK_RE = /[\u4e00-\u9fff]/;
|
||||
function tokenScore(fl, t) {
|
||||
if (fl.includes(t)) return 1;
|
||||
@@ -112,46 +97,42 @@ function searchFragments(db, user, query, count) {
|
||||
const toks = String(query || '').toLowerCase().split(/[\s,,、;;。.!!??]+/).filter(Boolean).slice(0, 8);
|
||||
if (!toks.length) return '';
|
||||
const lim = Math.max(1, Math.min(30, Number(count) || 10));
|
||||
const rows = db.prepare('SELECT day, content FROM memory_entries WHERE user = ? ORDER BY day DESC').all(String(user || ''));
|
||||
const rows = db.prepare(
|
||||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY created_at DESC'
|
||||
).all(String(user || ''));
|
||||
const hits = [];
|
||||
let seq = 0;
|
||||
for (const r of rows) {
|
||||
const frags = String(r.content || '').split('\n\n').filter(Boolean);
|
||||
for (let i = frags.length - 1; i >= 0; i--) { // 天内新在前,seq 自然全局新在前
|
||||
const frag = frags[i];
|
||||
seq++;
|
||||
const fl = frag.toLowerCase();
|
||||
let sum = 0;
|
||||
for (const t of toks) sum += tokenScore(fl, t);
|
||||
if (sum > 0) hits.push({ day: r.day, frag: frag, score: sum / toks.length, seq: seq });
|
||||
}
|
||||
}
|
||||
rows.forEach((r, i) => {
|
||||
const fl = String(r.text).toLowerCase();
|
||||
let sum = 0;
|
||||
for (const t of toks) sum += tokenScore(fl, t);
|
||||
if (sum > 0) hits.push({ r: r, score: sum / toks.length, i: i });
|
||||
});
|
||||
if (!hits.length) return '';
|
||||
hits.sort((a, b) => b.score - a.score || a.seq - b.seq);
|
||||
hits.sort((a, b) => b.score - a.score || a.i - b.i);
|
||||
const shown = hits.slice(0, lim);
|
||||
const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条'
|
||||
+ (hits.length > shown.length ? ';要更多加大 count 或关键词收窄' : '') + ':'];
|
||||
for (const h of shown) parts.push('--- ' + h.day + '(' + Math.round(h.score * 100) + '% 匹配)---\n' + h.frag);
|
||||
for (const h of shown) parts.push('--- ' + h.r.day + '(' + Math.round(h.score * 100) + '% 匹配)---\n' + renderFrag(h.r));
|
||||
return parts.join('\n\n');
|
||||
}
|
||||
|
||||
// ---------- 读:日期索引(只记得「大概哪天」时,先看有哪些天有账) ----------
|
||||
// ---------- 读:日期索引 / 某天整天(只记得「大概哪天」时的翻页) ----------
|
||||
function daysIndex(db, user) {
|
||||
const rows = db.prepare('SELECT day, content FROM memory_entries WHERE user = ? ORDER BY day DESC').all(String(user || ''));
|
||||
return rows.map(r => '- ' + r.day + '(' + String(r.content || '').split('\n\n').filter(Boolean).length + ' 条)');
|
||||
return db.prepare(
|
||||
'SELECT day, COUNT(*) n FROM memory_fragments WHERE user = ? GROUP BY day ORDER BY day DESC'
|
||||
).all(String(user || '')).map(r => '- ' + r.day + '(' + r.n + ' 条)');
|
||||
}
|
||||
|
||||
// ---------- 读:某天的完整日记 ----------
|
||||
function dayEntry(db, user, date) {
|
||||
const r = db.prepare('SELECT content FROM memory_entries WHERE user = ? AND day = ?').get(String(user || ''), String(date || '').trim());
|
||||
return r ? String(r.content) : '';
|
||||
return db.prepare(
|
||||
'SELECT session_id, text FROM memory_fragments WHERE user = ? AND day = ? ORDER BY created_at'
|
||||
).all(String(user || ''), String(date || '').trim()).map(renderFrag).join('\n\n');
|
||||
}
|
||||
|
||||
// ---------- 裁剪:day 为 ISO 串,字典序即日期序;默认永久存储为 no-op ----------
|
||||
function prune(db, cfg) {
|
||||
const cutoff = cutoffDay(cfg);
|
||||
if (!cutoff) return 0;
|
||||
const res = db.prepare('DELETE FROM memory_entries WHERE day < ?').run(cutoff);
|
||||
const res = db.prepare('DELETE FROM memory_fragments WHERE day < ?').run(cutoff);
|
||||
return res.changes || 0;
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user