线上现象(用户实测):调试页「已注入」标在了最早 3 条上。根因是页面按 API 位置序 (created_at 倒序前 N)自算注入窗,而 journalFor 已改事件日优先——迁移又让 52 片 created_at 齐平(旧行 updated_at 单值),位置序退化成 rowid 序=搬家序=最老片,两边错位。 修复:memory.injectedIds() 与 journalFor 共用同一条选取规则(INJECT_ORDER: day DESC, created_at DESC LIMIT inject_max),API 返回 injected 名单,页面按 session_id 贴标;journalFor 内部迁移兜底的 JS 重排一并清除(SQL 已保序)。
153 lines
8.4 KiB
JavaScript
153 lines
8.4 KiB
JavaScript
// 长期记忆(日记):微信通道拟人化的记忆地基——纯存储与渲染,不碰模型
|
||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。
|
||
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
|
||
// 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。
|
||
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at)。
|
||
// - day = 事件日(会话最后活跃日):人回忆问的是「哪天干的活」,不是「哪天补记的」;
|
||
// - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据;
|
||
// - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除);
|
||
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(created_at 倒序);更早的没消失——
|
||
// recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 永不删)。
|
||
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
|
||
|
||
const TZ = 'Asia/Shanghai';
|
||
const INJECT_CAP = 50; // inject_max 硬帽:防配置手滑把整个日记灌进上下文
|
||
const FRAG_MAX = 600; // 单碎片正文长度帽
|
||
|
||
// 存储裁剪窗:0 = 永久(默认)。正数 = 只留最近 n 天的事件,更旧碎片物理删除。
|
||
function retainDays(cfg) {
|
||
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
|
||
return n > 0 ? n : 0;
|
||
}
|
||
// 开场注入条数上限:0 = 只记录、不自动注入(recall 仍可查)。
|
||
function injectMax(cfg) {
|
||
const n = Math.floor(Number((cfg && cfg.memory || {}).inject_max) || 0);
|
||
return Math.max(0, Math.min(INJECT_CAP, n));
|
||
}
|
||
|
||
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD'
|
||
function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); }
|
||
|
||
// 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。
|
||
function cutoffDay(cfg, refMs) {
|
||
const n = retainDays(cfg);
|
||
return n ? dayString((Number(refMs) || Date.now()) - (n - 1) * 86400000) : '';
|
||
}
|
||
|
||
// ---------- 写:一片一行,主键即去重 ----------
|
||
// 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。
|
||
// 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。
|
||
function appendFragment(db, cfg, user, sessionId, day, text) {
|
||
const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||
if (!sessionId || !day || !body) return 'invalid';
|
||
const r = db.prepare(
|
||
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at) VALUES (?,?,?,?,?)'
|
||
).run(String(user || ''), String(sessionId), day, body, Date.now());
|
||
if (!r.changes) return 'dupe';
|
||
prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op
|
||
return 'added';
|
||
}
|
||
|
||
// 收口标记:sessions.journaled_at 物理占坑(扫描预排除,防陈年空闲会话每轮重复烧摘要 LLM)。
|
||
function markJournaled(db, sessionId, ms) {
|
||
db.prepare('UPDATE sessions SET journaled_at = ? WHERE id = ? AND journaled_at IS NULL')
|
||
.run(Number(ms) || Date.now(), String(sessionId));
|
||
}
|
||
|
||
// ---------- 读:开场注入文本(wechat/web 新会话的数据源) ----------
|
||
// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),渲染分天:新日在前、天内按发生顺序。
|
||
// 选取序单点定义在此(调试 API/页面走 injectedIds 取名单,不另算一套,避免两边错位)。
|
||
const INJECT_ORDER = ' ORDER BY day DESC, created_at DESC';
|
||
// 注入窗名单:与 journalFor 同选取规则的 session_id 列表(调试页打「已注入」标用)。
|
||
function injectedIds(db, cfg, user) {
|
||
const cap = injectMax(cfg);
|
||
if (!cap) return [];
|
||
return db.prepare(
|
||
'SELECT session_id FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||
).all(String(user || ''), cap).map(r => r.session_id);
|
||
}
|
||
function renderFrag(r) { return '【' + r.session_id + '】\n' + r.text; }
|
||
function journalFor(db, cfg, user) {
|
||
const cap = injectMax(cfg);
|
||
if (!cap) return '';
|
||
const rows = db.prepare(
|
||
// 选取按事件日(积压补记/迁移会令 created_at 齐平,按收口序会拿到「最晚补记」而非「最新事件」;
|
||
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按收口时刻。
|
||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||
).all(String(user || ''), cap);
|
||
if (!rows.length) return '';
|
||
const head = '【长期记忆·日记(最近' + rows.length + '条)】收工时的当日事件摘要,新在前、天内按发生顺序;'
|
||
+ '每条【编号】是来源会话 id:更早的日记用 recall 工具 op=search 关键词检索、op=days 按日期翻页再 op=day 取整天;'
|
||
+ '那次工作的成果文件用 op=files 查、op=link 取。';
|
||
const groups = [];
|
||
for (const r of rows) {
|
||
const g = groups[groups.length - 1];
|
||
if (!g || g.day !== r.day) groups.push({ day: r.day, items: [renderFrag(r)] });
|
||
else g.items.unshift(renderFrag(r));
|
||
}
|
||
return [head].concat(groups.map(g => '=== ' + g.day + ' ===\n' + g.items.join('\n\n'))).join('\n\n');
|
||
}
|
||
|
||
// ---------- 读:关键词检索(recall 主入口:用户记起的是「一段事」不是「第几条」) ----------
|
||
// 逐行内存打分(表行数=收口会话数,量级小到不值得建 FTS)。
|
||
// 分词:空白/标点切词,多词命中多者为先;单词命中=子串包含(小写化);
|
||
// CJK 长词整串不中时二元字组过半即模糊命中(得分 0.9 折算)——支撑「记个大概」。
|
||
const CJK_RE = /[\u4e00-\u9fff]/;
|
||
function tokenScore(fl, t) {
|
||
if (fl.includes(t)) return 1;
|
||
if (t.length < 2 || !CJK_RE.test(t)) return 0;
|
||
let hit = 0;
|
||
for (let i = 0; i + 2 <= t.length; i++) if (fl.includes(t.slice(i, i + 2))) hit++;
|
||
const frac = hit / (t.length - 1);
|
||
return frac >= 0.5 ? frac * 0.9 : 0;
|
||
}
|
||
function searchFragments(db, user, query, count) {
|
||
const toks = String(query || '').toLowerCase().split(/[\s,,、;;。.!!??]+/).filter(Boolean).slice(0, 8);
|
||
if (!toks.length) return '';
|
||
const lim = Math.max(1, Math.min(30, Number(count) || 10));
|
||
const rows = db.prepare(
|
||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY created_at DESC'
|
||
).all(String(user || ''));
|
||
const hits = [];
|
||
rows.forEach((r, i) => {
|
||
const fl = String(r.text).toLowerCase();
|
||
let sum = 0;
|
||
for (const t of toks) sum += tokenScore(fl, t);
|
||
if (sum > 0) hits.push({ r: r, score: sum / toks.length, i: i });
|
||
});
|
||
if (!hits.length) return '';
|
||
hits.sort((a, b) => b.score - a.score || a.i - b.i);
|
||
const shown = hits.slice(0, lim);
|
||
const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条'
|
||
+ (hits.length > shown.length ? ';要更多加大 count 或关键词收窄' : '') + ':'];
|
||
for (const h of shown) parts.push('--- ' + h.r.day + '(' + Math.round(h.score * 100) + '% 匹配)---\n' + renderFrag(h.r));
|
||
return parts.join('\n\n');
|
||
}
|
||
|
||
// ---------- 读:日期索引 / 某天整天(只记得「大概哪天」时的翻页) ----------
|
||
function daysIndex(db, user) {
|
||
return db.prepare(
|
||
'SELECT day, COUNT(*) n FROM memory_fragments WHERE user = ? GROUP BY day ORDER BY day DESC'
|
||
).all(String(user || '')).map(r => '- ' + r.day + '(' + r.n + ' 条)');
|
||
}
|
||
function dayEntry(db, user, date) {
|
||
return db.prepare(
|
||
'SELECT session_id, text FROM memory_fragments WHERE user = ? AND day = ? ORDER BY created_at'
|
||
).all(String(user || ''), String(date || '').trim()).map(renderFrag).join('\n\n');
|
||
}
|
||
|
||
// ---------- 裁剪:day 为 ISO 串,字典序即日期序;默认永久存储为 no-op ----------
|
||
function prune(db, cfg) {
|
||
const cutoff = cutoffDay(cfg);
|
||
if (!cutoff) return 0;
|
||
const res = db.prepare('DELETE FROM memory_fragments WHERE day < ?').run(cutoff);
|
||
return res.changes || 0;
|
||
}
|
||
|
||
module.exports = {
|
||
retainDays, injectMax, dayString, cutoffDay,
|
||
appendFragment, markJournaled, journalFor, injectedIds,
|
||
searchFragments, daysIndex, dayEntry, prune,
|
||
INJECT_CAP, FRAG_MAX,
|
||
};
|