Files
agent/app/server/memory.js

209 lines
11 KiB
JavaScript
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// 长期记忆(日记):微信通道拟人化的记忆地基——纯存储与渲染,不碰模型
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
// 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at, last_active_at)。
// - day = 事件日(Asia/Shanghai),由 last_active_at 派生:人回忆问的是「哪天干的活」,不是「哪天补记的」;
// - last_active_at = 收口时快照的最后一条真实 user/assistant 消息时刻(存量数据可为 NULL);
// - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据;
// - 会话标题不进回忆头部:标题是会话名,不是事件内容,容易把「回忆」带偏;
// - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除);
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(day 优先、同日按 last_active_at 倒序);更早的没消失——
// recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 不按时间删,
// 但删会话会连带撕掉它的碎片,见 dropFragment)。
// 业务时区统一由 time.js 固定为 Asia/Shanghai(与 cron 同源):上海无夏令时,按毫秒日移取 day 字符串安全。
const { dayString, stampString } = require('./time');
const INJECT_CAP = 50; // inject_max 硬帽:防配置手滑把整个日记灌进上下文
const FRAG_MAX = 600; // 单碎片正文长度帽
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天的事件,更旧碎片物理删除。
function retainDays(cfg) {
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
return n > 0 ? n : 0;
}
// 开场注入条数上限:0 = 只记录、不自动注入(recall 仍可查)。
function injectMax(cfg) {
const n = Math.floor(Number((cfg && cfg.memory || {}).inject_max) || 0);
return Math.max(0, Math.min(INJECT_CAP, n));
}
// 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。
function cutoffDay(cfg, refMs) {
const n = retainDays(cfg);
return n ? dayString((Number(refMs) || Date.now()) - (n - 1) * 86400000) : '';
}
// ---------- 写:一片一行,主键即去重 ----------
// 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。
// 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。
function appendFragment(db, cfg, user, sessionId, day, text, lastActiveAt) {
const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
if (!sessionId || !day || !body) return 'invalid';
// last_active_at 是事件时刻快照;created_at 是本碎片收口/写入时间,两者不可混用。
const stamp = Number(lastActiveAt) || Date.now();
const r = db.prepare(
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at, last_active_at) VALUES (?,?,?,?,?,?)'
).run(String(user || ''), String(sessionId), day, body, Date.now(), stamp);
if (!r.changes) return 'dupe';
prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op
return 'added';
}
// ---------- 删:来源会话销毁时连带撕掉它的碎片 ----------
// 会话没了,这条「我帮他做过什么」就再无出处:recall 拿到 sid 翻不出原文,也带不出成果文件,
// 留着是幽灵记忆(还会白占 inject_max 额度)。session id 全局唯一,按 sid 删即可,不必再限 user。
// 调用方:engine.deleteSession(Web 删除弹窗与微信 /delete 同源)。
function dropFragment(db, sessionId) {
const res = db.prepare('DELETE FROM memory_fragments WHERE session_id = ?').run(String(sessionId));
return res.changes || 0;
}
// 收口标记:sessions.journaled_at 物理占坑(扫描预排除,防陈年空闲会话每轮重复烧摘要 LLM)。
function markJournaled(db, sessionId, ms) {
db.prepare('UPDATE sessions SET journaled_at = ? WHERE id = ? AND journaled_at IS NULL')
.run(Number(ms) || Date.now(), String(sessionId));
}
// ---------- 读:开场注入文本(wechat/web 新会话的数据源) ----------
// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),逐片「## id, date」自描述:
// 新日在前、天内按发生顺序。
// 选取序单点定义在此(调试 API/页面走 injectedIds 取名单,不另算一套,避免两边错位)。
const INJECT_ORDER = ' ORDER BY f.day DESC, COALESCE(f.last_active_at, f.created_at) DESC';
// 读路径统一列清单:renderFrag 依赖 day/last_active_at,三处查询不再各写 SELECT,避免漏列。
const FRAG_COLS = 'f.session_id, f.day, f.text, f.last_active_at';
const FRAG_FROM = ' FROM memory_fragments f';
// 注入窗名单:与 journalFor 同选取规则的 session_id 列表(调试页打「已注入」标用)。
function injectedIds(db, cfg, user) {
const cap = injectMax(cfg);
if (!cap) return [];
return db.prepare(
'SELECT f.session_id FROM memory_fragments f WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?'
).all(String(user || ''), cap).map(r => r.session_id);
}
// 渲染逐片自描述:「## id=…, date=YYYY-MM-DD HH:MM:SS」——新在前、天内按发生顺序。
// 旧数据没有 last_active_at 时只显示 day;不拼 title,避免会话名把回忆带偏。
function renderFrag(r) {
const when = stampString(r.last_active_at) || r.day || '未知';
return '## id=' + r.session_id + ', date=' + when + '\n' + r.text;
}
function journalFor(db, cfg, user) {
const cap = injectMax(cfg);
if (!cap) return '';
const rows = db.prepare(
// 选取按事件日(积压补记/迁移会令 created_at 齐平,按收口序会拿到「最晚补记」而非「最新事件」;
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按最后对话时刻。
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?'
).all(String(user || ''), cap);
if (!rows.length) return '';
const groups = [];
for (const r of rows) {
const g = groups[groups.length - 1];
if (!g || g.day !== r.day) groups.push({ day: r.day, items: [renderFrag(r)] });
else g.items.unshift(renderFrag(r));
}
return groups.map(g => g.items.join('\n\n')).join('\n\n');
}
// ---------- 读:关键词检索(recall 主入口:用户记起的是「一段事」不是「第几条」) ----------
// 逐行内存打分(表行数=收口会话数,量级小到不值得建 FTS)。
// 分词:空白/标点切词,多词命中多者为先;单词命中=子串包含(小写化);
// CJK 长词整串不中时二元字组过半即模糊命中(得分 0.9 折算)——支撑「记个大概」。
const CJK_RE = /[\u4e00-\u9fff]/;
function tokenScore(fl, t) {
if (fl.includes(t)) return 1;
if (t.length < 2 || !CJK_RE.test(t)) return 0;
let hit = 0;
for (let i = 0; i + 2 <= t.length; i++) if (fl.includes(t.slice(i, i + 2))) hit++;
const frac = hit / (t.length - 1);
return frac >= 0.5 ? frac * 0.9 : 0;
}
function searchFragments(db, user, query, count, excludeSid) {
const toks = String(query || '').toLowerCase().split(/[\s,,、;;。.!!??]+/).filter(Boolean).slice(0, 8);
if (!toks.length) return '';
const lim = Math.max(1, Math.min(30, Number(count) || 10));
const rows = db.prepare(
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? ORDER BY COALESCE(f.last_active_at, f.created_at) DESC'
).all(String(user || ''));
const hits = [];
rows.forEach((r, i) => {
const fl = String(r.text).toLowerCase();
let sum = 0;
for (const t of toks) sum += tokenScore(fl, t);
if (sum > 0) hits.push({ r: r, score: sum / toks.length, i: i });
});
// 未收口的会话没有碎片,标题是它唯一可检索的记忆:同样打分、同样渲染、同样排序,
// 不另起段落(否则模型会把「标题命中」当另一类东西,反而不信)。
const pend = db.prepare(
"SELECT id, title, updated_at FROM sessions WHERE user = ? AND journaled_at IS NULL AND TRIM(title) != ''"
).all(String(user || ''));
pend.forEach((s, i) => {
if (excludeSid && s.id === excludeSid) return;
const fl = String(s.title).toLowerCase();
let sum = 0;
for (const t of toks) sum += tokenScore(fl, t);
if (sum > 0) {
hits.push({
r: { session_id: s.id, day: dayString(s.updated_at), text: s.title, last_active_at: s.updated_at },
score: sum / toks.length, i: rows.length + i
});
}
});
if (!hits.length) return '';
hits.sort((a, b) => b.score - a.score || a.i - b.i);
const shown = hits.slice(0, lim);
// 条目自带 date(renderFrag 标题),行内只留相关度不重复日期
const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条:'];
for (const h of shown) parts.push('--- 匹配 ' + Math.round(h.score * 100) + '% ---\n' + renderFrag(h.r));
return parts.join('\n\n');
}
// ---------- 读:日期索引 / 某天整天(只记得「大概哪天」时的翻页) ----------
function daysIndex(db, user) {
const u = String(user || '');
const map = new Map();
for (const r of db.prepare('SELECT day, COUNT(*) n FROM memory_fragments WHERE user = ? GROUP BY day').all(u)) {
map.set(r.day, (map.get(r.day) || 0) + r.n);
}
// 未收口会话的日期也要进索引:那天干过活,只是还没落碎片,索引里不该整天消失。
// 日期一律走 dayString(业务时区 Asia/Shanghai),不交给 SQLite 的 localtime,避免容器 TZ 漂移。
for (const s of db.prepare(
"SELECT updated_at FROM sessions WHERE user = ? AND journaled_at IS NULL AND TRIM(title) != ''"
).all(u)) {
const d = dayString(s.updated_at);
map.set(d, (map.get(d) || 0) + 1);
}
return [...map.entries()].sort((a, b) => (a[0] < b[0] ? 1 : a[0] > b[0] ? -1 : 0))
.map(e => '- ' + e[0] + '(' + e[1] + ' 条)');
}
function dayEntry(db, user, date) {
const u = String(user || '');
const d = String(date || '').trim();
const rows = db.prepare(
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? AND f.day = ?'
).all(u, d);
for (const s of db.prepare(
"SELECT id, title, updated_at FROM sessions WHERE user = ? AND journaled_at IS NULL AND TRIM(title) != ''"
).all(u)) {
if (dayString(s.updated_at) !== d) continue;
rows.push({ session_id: s.id, day: d, text: s.title, last_active_at: s.updated_at });
}
rows.sort((a, b) => (Number(a.last_active_at) || 0) - (Number(b.last_active_at) || 0));
return rows.map(renderFrag).join('\n\n');
}
// ---------- 裁剪:day 为 ISO 串,字典序即日期序;默认永久存储为 no-op ----------
function prune(db, cfg) {
const cutoff = cutoffDay(cfg);
if (!cutoff) return 0;
const res = db.prepare('DELETE FROM memory_fragments WHERE day < ?').run(cutoff);
return res.changes || 0;
}
module.exports = {
retainDays, injectMax, dayString, cutoffDay,
appendFragment, dropFragment, markJournaled, journalFor, injectedIds,
searchFragments, daysIndex, dayEntry, prune,
INJECT_CAP, FRAG_MAX,
};