Files
agent/app/server/memory.js
T
kicer ac399ed796 refactor(memory): C 结构重构——memory_entries blob → memory_fragments 一片一行 + 事件日语义(含 B)
用户确认 blob 拼接莫名其妙、C 值得做;顺带把 B(日期取事件日)并入,一次到位。

结构:memory_fragments(user, session_id PK, day, text, created_at)。
- (user, session_id) 主键 = 「每会话唯一碎片」的存储级保证(原 LIKE sid 文本去重、dupe
  三态语义全部消失;sessions.journaled_at 保留作扫描预排除);
- day = 事件日(会话最后活跃日),不再记「收口当日」——人回忆问哪天干的活,
  52 条积压碎片迁移后自动散布回 09-16~09-29 十一天真实日期;
- text = 纯日记正文(- 行),【来源会话 id】只在渲染层拼(journalFor/search/day 输出),
  存储零冗余元数据;FRAG_MAX 保留。

迁移(db.js,幂等):旧表存在才搬——按空行拆块、正则提取 task- id(兼容三代头格式),
解析不出的孤儿残块(DAY_MAX 时代遗物)丢弃,day 回填来源会话 updated_at,搬完 DROP。
线上实测:52 片全量搬家、孤儿 0、旧表已删。

memory.js 读写全换皮:journalFor(created_at 倒序取 inject_max、按天分组天内正序)、
searchFragments(逐行打分同前)、daysIndex(GROUP BY day)、dayEntry(WHERE day)、
prune(retain_days>0 才删)。engine 两处收口只改 day 来源与去【sid】头;
调试 API/页面按一片一卡 + 已注入徽章(= 全局最新 inject_max 片)。

探针 13 项全过:legacy 迁移(孤儿弃/事件日回填/text 零元数据)、死绑定候选链收口、
主键去重、注入窗、recall search/days/day 对新表全绿。
2026-09-29 15:32:02 +08:00

145 lines
8.0 KiB
JavaScript
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// 长期记忆(日记):微信通道拟人化的记忆地基——纯存储与渲染,不碰模型
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
// 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at)。
// - day = 事件日(会话最后活跃日):人回忆问的是「哪天干的活」,不是「哪天补记的」;
// - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据;
// - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除);
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(created_at 倒序);更早的没消失——
// recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 永不删)。
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
const TZ = 'Asia/Shanghai';
const INJECT_CAP = 50; // inject_max 硬帽:防配置手滑把整个日记灌进上下文
const FRAG_MAX = 600; // 单碎片正文长度帽
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天的事件,更旧碎片物理删除。
function retainDays(cfg) {
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
return n > 0 ? n : 0;
}
// 开场注入条数上限:0 = 只记录、不自动注入(recall 仍可查)。
function injectMax(cfg) {
const n = Math.floor(Number((cfg && cfg.memory || {}).inject_max) || 0);
return Math.max(0, Math.min(INJECT_CAP, n));
}
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD'
function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); }
// 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。
function cutoffDay(cfg, refMs) {
const n = retainDays(cfg);
return n ? dayString((Number(refMs) || Date.now()) - (n - 1) * 86400000) : '';
}
// ---------- 写:一片一行,主键即去重 ----------
// 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。
// 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。
function appendFragment(db, cfg, user, sessionId, day, text) {
const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
if (!sessionId || !day || !body) return 'invalid';
const r = db.prepare(
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at) VALUES (?,?,?,?,?)'
).run(String(user || ''), String(sessionId), day, body, Date.now());
if (!r.changes) return 'dupe';
prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op
return 'added';
}
// 收口标记:sessions.journaled_at 物理占坑(扫描预排除,防陈年空闲会话每轮重复烧摘要 LLM)。
function markJournaled(db, sessionId, ms) {
db.prepare('UPDATE sessions SET journaled_at = ? WHERE id = ? AND journaled_at IS NULL')
.run(Number(ms) || Date.now(), String(sessionId));
}
// ---------- 读:开场注入文本(wechat/web 新会话的数据源) ----------
// 最近 inject_max 片(按收口时刻),渲染分天:新日在前、天内按发生顺序;【sid】头拼在这里。
function renderFrag(r) { return '【' + r.session_id + '】\n' + r.text; }
function journalFor(db, cfg, user) {
const cap = injectMax(cfg);
if (!cap) return '';
const rows = db.prepare(
// 选取按事件日(积压补记/迁移会令 created_at 同刻扎堆,按收口序会拿到「最晚补记」而非「最新事件」;
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按收口时刻。
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY day DESC, created_at DESC LIMIT ?'
).all(String(user || ''), cap);
if (!rows.length) return '';
// 选取按收口序,展示按事件日重排(同日碎片可能异日落库,直接按日分组避免同一日出现两个头)
rows.sort((a, b) => a.day < b.day ? 1 : a.day > b.day ? -1 : 0);
const head = '【长期记忆·日记(最近' + rows.length + '条)】收工时的当日事件摘要,新在前、天内按发生顺序;'
+ '每条【编号】是来源会话 id:更早的日记用 recall 工具 op=search 关键词检索、op=days 按日期翻页再 op=day 取整天;'
+ '那次工作的成果文件用 op=files 查、op=link 取。';
const groups = [];
for (const r of rows) {
const g = groups[groups.length - 1];
if (!g || g.day !== r.day) groups.push({ day: r.day, items: [renderFrag(r)] });
else g.items.unshift(renderFrag(r));
}
return [head].concat(groups.map(g => '=== ' + g.day + ' ===\n' + g.items.join('\n\n'))).join('\n\n');
}
// ---------- 读:关键词检索(recall 主入口:用户记起的是「一段事」不是「第几条」) ----------
// 逐行内存打分(表行数=收口会话数,量级小到不值得建 FTS)。
// 分词:空白/标点切词,多词命中多者为先;单词命中=子串包含(小写化);
// CJK 长词整串不中时二元字组过半即模糊命中(得分 0.9 折算)——支撑「记个大概」。
const CJK_RE = /[\u4e00-\u9fff]/;
function tokenScore(fl, t) {
if (fl.includes(t)) return 1;
if (t.length < 2 || !CJK_RE.test(t)) return 0;
let hit = 0;
for (let i = 0; i + 2 <= t.length; i++) if (fl.includes(t.slice(i, i + 2))) hit++;
const frac = hit / (t.length - 1);
return frac >= 0.5 ? frac * 0.9 : 0;
}
function searchFragments(db, user, query, count) {
const toks = String(query || '').toLowerCase().split(/[\s,,、;;。.!!??]+/).filter(Boolean).slice(0, 8);
if (!toks.length) return '';
const lim = Math.max(1, Math.min(30, Number(count) || 10));
const rows = db.prepare(
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY created_at DESC'
).all(String(user || ''));
const hits = [];
rows.forEach((r, i) => {
const fl = String(r.text).toLowerCase();
let sum = 0;
for (const t of toks) sum += tokenScore(fl, t);
if (sum > 0) hits.push({ r: r, score: sum / toks.length, i: i });
});
if (!hits.length) return '';
hits.sort((a, b) => b.score - a.score || a.i - b.i);
const shown = hits.slice(0, lim);
const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条'
+ (hits.length > shown.length ? ';要更多加大 count 或关键词收窄' : '') + ':'];
for (const h of shown) parts.push('--- ' + h.r.day + '(' + Math.round(h.score * 100) + '% 匹配)---\n' + renderFrag(h.r));
return parts.join('\n\n');
}
// ---------- 读:日期索引 / 某天整天(只记得「大概哪天」时的翻页) ----------
function daysIndex(db, user) {
return db.prepare(
'SELECT day, COUNT(*) n FROM memory_fragments WHERE user = ? GROUP BY day ORDER BY day DESC'
).all(String(user || '')).map(r => '- ' + r.day + '(' + r.n + ' 条)');
}
function dayEntry(db, user, date) {
return db.prepare(
'SELECT session_id, text FROM memory_fragments WHERE user = ? AND day = ? ORDER BY created_at'
).all(String(user || ''), String(date || '').trim()).map(renderFrag).join('\n\n');
}
// ---------- 裁剪:day 为 ISO 串,字典序即日期序;默认永久存储为 no-op ----------
function prune(db, cfg) {
const cutoff = cutoffDay(cfg);
if (!cutoff) return 0;
const res = db.prepare('DELETE FROM memory_fragments WHERE day < ?').run(cutoff);
return res.changes || 0;
}
module.exports = {
retainDays, injectMax, dayString, cutoffDay,
appendFragment, markJournaled, journalFor,
searchFragments, daysIndex, dayEntry, prune,
INJECT_CAP, FRAG_MAX,
};