feat(memory): 日记碎片记录最后对话时刻并渲染 date/title
memory_fragments 新增 last_active_at,收口时快照最后一条真实 user/assistant 消息时刻,day 由它派生;存量数据按 day 匹配回填,匹配不上留 NULL。renderFrag 输出 id + date(YYYY-MM-DD HH:MM:SS) + title(读时 join sessions),缺失时降级为只显示日期/省略标题。recall op=day 的 date 容忍完整时间戳,只截取并校验日期部分。
This commit is contained in:
+23
-2
@@ -116,7 +116,7 @@ function initDb(dbPath) {
|
||||
);
|
||||
|
||||
-- 长期记忆(日记,memory.js):一片碎片一行——会话收口(下班)时落库,(user, session_id) 主键即去重。
|
||||
-- day = 事件日(会话最后活跃日,Asia/Shanghai 与 cron 同时区):人回忆问「哪天干的活」,不是「哪天补记的」。
|
||||
-- day = 事件日(Asia/Shanghai 与 cron 同时区):由 last_active_at 派生;人回忆问「哪天干的活」,不是「哪天补记的」。
|
||||
-- text = 纯日记正文(- 行列表);来源会话 id 存在 session_id 列,【id】展示样式只在渲染层拼,存储零冗余。
|
||||
-- 故意不建外键:主键是 (user, session_id),SQLite 要求引用列命中唯一约束,单列 session_id
|
||||
-- 建不了 FK;且删会话的连带清理由 engine.deleteSession 显式 memory.dropFragment 承担
|
||||
@@ -127,7 +127,8 @@ function initDb(dbPath) {
|
||||
session_id TEXT NOT NULL,
|
||||
day TEXT NOT NULL, -- 'YYYY-MM-DD'(事件日)
|
||||
text TEXT NOT NULL,
|
||||
created_at INTEGER NOT NULL, -- 收口时刻(注入/检索的时序键)
|
||||
created_at INTEGER NOT NULL, -- 收口时刻(写入/迁移时间,不当作事件时刻)
|
||||
last_active_at INTEGER, -- 最后一条真实 user/assistant 消息的时刻(收口时快照;存量回填可为 NULL)
|
||||
PRIMARY KEY (user, session_id)
|
||||
);
|
||||
|
||||
@@ -287,6 +288,26 @@ function initDb(dbPath) {
|
||||
'DELETE FROM memory_fragments WHERE session_id NOT IN (SELECT id FROM sessions)'
|
||||
).run().changes || 0;
|
||||
if (orphan) console.log('[db] 清理孤儿日记碎片 ' + orphan + ' 条(来源会话已删除)');
|
||||
// 迁移:日记碎片补 last_active_at(最后真实对话时刻)。created_at 是收口/迁移时间,不能当事件时刻;
|
||||
// 存量行按「最后真实消息 → updated_at → created_at」找第一个上海日期等于 day 的候选,找不到就留 NULL
|
||||
//(渲染时只显示日期)。放在 memory_entries 迁移之后,刚搬过来的行也能一起回填。
|
||||
try { db.exec('ALTER TABLE memory_fragments ADD COLUMN last_active_at INTEGER'); } catch (_) { /* 已存在 */ }
|
||||
const needStamp = db.prepare('SELECT 1 FROM memory_fragments WHERE last_active_at IS NULL LIMIT 1').get();
|
||||
if (needStamp) {
|
||||
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: 'Asia/Shanghai' });
|
||||
const lastMsg = db.prepare(
|
||||
"SELECT MAX(created_at) AS m FROM messages WHERE session_id = ? AND type IS NULL AND role IN ('user','assistant')"
|
||||
);
|
||||
const getUpdated = db.prepare('SELECT updated_at FROM sessions WHERE id = ?');
|
||||
const setStamp = db.prepare('UPDATE memory_fragments SET last_active_at = ? WHERE user = ? AND session_id = ?');
|
||||
for (const f of db.prepare('SELECT user, session_id, day, created_at FROM memory_fragments WHERE last_active_at IS NULL').all()) {
|
||||
const m = lastMsg.get(f.session_id);
|
||||
const s = getUpdated.get(f.session_id);
|
||||
const cands = [m && m.m, s && s.updated_at, f.created_at].filter(Boolean).map(Number);
|
||||
const pick = cands.find(ms => dayFmt.format(new Date(ms)) === f.day);
|
||||
if (pick) setStamp.run(pick, f.user, f.session_id);
|
||||
}
|
||||
}
|
||||
return db;
|
||||
}
|
||||
|
||||
|
||||
+17
-5
@@ -1198,7 +1198,7 @@ function maybeAutoCompress(sessionId, run, wasCompressTurn) {
|
||||
|
||||
// ---------- 长期记忆碎片(日记):会话收口(下班)时为其生成一条事件碎片 ----------
|
||||
// 与自动标题同模式:fire-and-forget + 内存防重入;绝不阻塞轮换路径(微信先回信,
|
||||
// 日记后台慢慢落)。一片一行入 memory_fragments,day=事件日(会话最后活跃日),
|
||||
// 日记后台慢慢落)。一片一行入 memory_fragments,day 由最后真实对话时刻(last_active_at)派生,
|
||||
// 去重靠 (user, session_id) 主键;渲染/检索全在 memory.js。
|
||||
// /clear 不记也不留:用户主动清零历史 = 不要这段记忆(已定调),旧碎片随清空一并撕掉(闹钟专柜除外,见 clearSessionMessages)。
|
||||
// 摘要模型走候选链兜底(用户定调:日记错过即丢,不能死于会话原绑模型这一个单点):
|
||||
@@ -1274,6 +1274,15 @@ function journalCandidateModels(s) {
|
||||
return cands;
|
||||
}
|
||||
|
||||
// 最后真实对话时刻(毫秒):注入/归档/摘要/工具回执都不算;没有对话时退回会话 updated_at。
|
||||
// 这是日记的「事件时刻」,不可用 created_at(收口/迁移时间)替代。
|
||||
function lastActiveAtOf(sessionId, fallback) {
|
||||
const r = db.prepare(
|
||||
"SELECT MAX(created_at) AS m FROM messages WHERE session_id = ? AND type IS NULL AND role IN ('user','assistant')"
|
||||
).get(String(sessionId));
|
||||
return (r && r.m) || Number(fallback) || now();
|
||||
}
|
||||
|
||||
// 生成并落库一个会话的日记碎片;返回 Promise<boolean>(是否写入)。调用方不需要等它。
|
||||
function journalFragment(sessionId) {
|
||||
return new Promise(resolve => {
|
||||
@@ -1283,12 +1292,14 @@ function journalFragment(sessionId) {
|
||||
if (journaling.has(sessionId)) return done(false);
|
||||
const s = getSession(sessionId);
|
||||
if (!s || s.journaled_at) return done(false); // 已收口的会话不二次碎片(每会话唯一碎片的入口保证)
|
||||
const day = memory.dayString(s.updated_at || now()); // 事件日=会话最后活跃日(C 定稿):人回忆问哪天干的活,不是哪天补记
|
||||
// 事件时刻取最后一条真实对话消息;没有对话再退回 updated_at。day 与它同源,避免日期/时刻互相打架。
|
||||
const lastActiveAt = lastActiveAtOf(sessionId, s.updated_at);
|
||||
const day = memory.dayString(lastActiveAt);
|
||||
// 无论成败都落一条:降级版写明真实原因(调试页可见);来源会话 id 是表列,正文零元数据。
|
||||
const finish = (body, reason) => {
|
||||
journaling.delete(sessionId);
|
||||
const r = memory.appendFragment(db, cfg, s.user, s.id, day,
|
||||
body || '- 本次工作未能生成摘要(' + (reason || '原因未知') + '),详情可按会话 id 回忆');
|
||||
body || '- 本次工作未能生成摘要(' + (reason || '原因未知') + '),详情可按会话 id 回忆', lastActiveAt);
|
||||
if (r === 'added' || r === 'dupe') memory.markJournaled(db, sessionId, now()); // dupe 也算收口,不重试
|
||||
return r === 'added' || r === 'dupe';
|
||||
};
|
||||
@@ -1337,8 +1348,9 @@ function taskClockOut(sessionId) {
|
||||
const t = db.prepare('SELECT cron_expr, prompt, brief FROM scheduled_tasks WHERE session_id = ?').get(sessionId);
|
||||
if (!t) return;
|
||||
const what = String(t.brief || t.prompt || '').replace(/\s+/g, ' ').trim().slice(0, 80);
|
||||
const r = memory.appendFragment(db, cfg, s.user, s.id, memory.dayString(s.updated_at || now()),
|
||||
'- 用户让我设了个闹钟:' + what + '(频率 ' + t.cron_expr + ')');
|
||||
const lastActiveAt = lastActiveAtOf(sessionId, s.updated_at);
|
||||
const r = memory.appendFragment(db, cfg, s.user, s.id, memory.dayString(lastActiveAt),
|
||||
'- 用户让我设了个闹钟:' + what + '(频率 ' + t.cron_expr + ')', lastActiveAt);
|
||||
if (r === 'added' || r === 'dupe') memory.markJournaled(db, sessionId, now());
|
||||
if (s.status === 'held') { try { releaseHold(sessionId); } catch (_) { /* 并发归档 */ } }
|
||||
const un = db.prepare('DELETE FROM channel_sessions WHERE session_id = ?').run(sessionId);
|
||||
|
||||
+38
-17
@@ -2,11 +2,13 @@
|
||||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。
|
||||
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
|
||||
// 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。
|
||||
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at)。
|
||||
// - day = 事件日(会话最后活跃日):人回忆问的是「哪天干的活」,不是「哪天补记的」;
|
||||
// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at, last_active_at)。
|
||||
// - day = 事件日(Asia/Shanghai),由 last_active_at 派生:人回忆问的是「哪天干的活」,不是「哪天补记的」;
|
||||
// - last_active_at = 收口时快照的最后一条真实 user/assistant 消息时刻(存量数据可为 NULL);
|
||||
// - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据;
|
||||
// - title 不落碎片表,渲染时 join sessions 取当前标题;
|
||||
// - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除);
|
||||
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(created_at 倒序);更早的没消失——
|
||||
// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(day 优先、同日按 last_active_at 倒序);更早的没消失——
|
||||
// recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 不按时间删,
|
||||
// 但删会话会连带撕掉它的碎片,见 dropFragment)。
|
||||
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
|
||||
@@ -27,7 +29,17 @@ function injectMax(cfg) {
|
||||
}
|
||||
|
||||
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD'
|
||||
const timeFmt = new Intl.DateTimeFormat('en-GB', {
|
||||
timeZone: TZ, hour: '2-digit', minute: '2-digit', second: '2-digit', hourCycle: 'h23'
|
||||
});
|
||||
function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); }
|
||||
// 'YYYY-MM-DD HH:MM:SS'(上海时区);脏/空值返 '',由调用方退回只显示 day。
|
||||
function stampString(ms) {
|
||||
const n = Number(ms);
|
||||
if (!Number.isFinite(n) || n <= 0) return '';
|
||||
const d = new Date(n);
|
||||
return dayFmt.format(d) + ' ' + timeFmt.format(d);
|
||||
}
|
||||
|
||||
// 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。
|
||||
function cutoffDay(cfg, refMs) {
|
||||
@@ -38,12 +50,14 @@ function cutoffDay(cfg, refMs) {
|
||||
// ---------- 写:一片一行,主键即去重 ----------
|
||||
// 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。
|
||||
// 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。
|
||||
function appendFragment(db, cfg, user, sessionId, day, text) {
|
||||
function appendFragment(db, cfg, user, sessionId, day, text, lastActiveAt) {
|
||||
const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||||
if (!sessionId || !day || !body) return 'invalid';
|
||||
// last_active_at 是事件时刻快照;created_at 是本碎片收口/写入时间,两者不可混用。
|
||||
const stamp = Number(lastActiveAt) || Date.now();
|
||||
const r = db.prepare(
|
||||
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at) VALUES (?,?,?,?,?)'
|
||||
).run(String(user || ''), String(sessionId), day, body, Date.now());
|
||||
'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at, last_active_at) VALUES (?,?,?,?,?,?)'
|
||||
).run(String(user || ''), String(sessionId), day, body, Date.now(), stamp);
|
||||
if (!r.changes) return 'dupe';
|
||||
prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op
|
||||
return 'added';
|
||||
@@ -65,28 +79,35 @@ function markJournaled(db, sessionId, ms) {
|
||||
}
|
||||
|
||||
// ---------- 读:开场注入文本(wechat/web 新会话的数据源) ----------
|
||||
// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),逐片「## id,day」自描述:
|
||||
// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),逐片「## id, date, title」自描述:
|
||||
// 新日在前、天内按发生顺序。
|
||||
// 选取序单点定义在此(调试 API/页面走 injectedIds 取名单,不另算一套,避免两边错位)。
|
||||
const INJECT_ORDER = ' ORDER BY day DESC, created_at DESC';
|
||||
const INJECT_ORDER = ' ORDER BY f.day DESC, COALESCE(f.last_active_at, f.created_at) DESC';
|
||||
// 读路径统一列清单:renderFrag 依赖 day/last_active_at/title,三处查询不再各写 SELECT,避免漏列。
|
||||
const FRAG_COLS = 'f.session_id, f.day, f.text, f.last_active_at, s.title';
|
||||
const FRAG_FROM = ' FROM memory_fragments f LEFT JOIN sessions s ON s.id = f.session_id';
|
||||
// 注入窗名单:与 journalFor 同选取规则的 session_id 列表(调试页打「已注入」标用)。
|
||||
function injectedIds(db, cfg, user) {
|
||||
const cap = injectMax(cfg);
|
||||
if (!cap) return [];
|
||||
return db.prepare(
|
||||
'SELECT session_id FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||||
'SELECT f.session_id FROM memory_fragments f WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||||
).all(String(user || ''), cap).map(r => r.session_id);
|
||||
}
|
||||
// 渲染逐片自描述:「## id=…, day=…」——新在前、天内按发生顺序;id/day 进标题即机器可读,
|
||||
// 分天组头退役。
|
||||
function renderFrag(r) { return '## id=' + r.session_id + ', day=' + r.day + '\n' + r.text; }
|
||||
// 渲染逐片自描述:「## id=…, date=YYYY-MM-DD HH:MM:SS, title=…」——新在前、天内按发生顺序。
|
||||
// 旧数据没有 last_active_at 时只显示 day;标题为空时整段省略,绝不拼出 undefined。
|
||||
function renderFrag(r) {
|
||||
const when = stampString(r.last_active_at) || r.day || '未知';
|
||||
const title = String(r.title || '').replace(/\s+/g, ' ').trim();
|
||||
return '## id=' + r.session_id + ', date=' + when + (title ? ', title=' + title : '') + '\n' + r.text;
|
||||
}
|
||||
function journalFor(db, cfg, user) {
|
||||
const cap = injectMax(cfg);
|
||||
if (!cap) return '';
|
||||
const rows = db.prepare(
|
||||
// 选取按事件日(积压补记/迁移会令 created_at 齐平,按收口序会拿到「最晚补记」而非「最新事件」;
|
||||
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按收口时刻。
|
||||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||||
// 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按最后对话时刻。
|
||||
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?'
|
||||
).all(String(user || ''), cap);
|
||||
if (!rows.length) return '';
|
||||
const groups = [];
|
||||
@@ -116,7 +137,7 @@ function searchFragments(db, user, query, count) {
|
||||
if (!toks.length) return '';
|
||||
const lim = Math.max(1, Math.min(30, Number(count) || 10));
|
||||
const rows = db.prepare(
|
||||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY created_at DESC'
|
||||
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? ORDER BY COALESCE(f.last_active_at, f.created_at) DESC'
|
||||
).all(String(user || ''));
|
||||
const hits = [];
|
||||
rows.forEach((r, i) => {
|
||||
@@ -128,7 +149,7 @@ function searchFragments(db, user, query, count) {
|
||||
if (!hits.length) return '';
|
||||
hits.sort((a, b) => b.score - a.score || a.i - b.i);
|
||||
const shown = hits.slice(0, lim);
|
||||
// 条目自带 day(renderFrag 标题),行内只留相关度不重复日期
|
||||
// 条目自带 date(renderFrag 标题),行内只留相关度不重复日期
|
||||
const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条:'];
|
||||
for (const h of shown) parts.push('--- 匹配 ' + Math.round(h.score * 100) + '% ---\n' + renderFrag(h.r));
|
||||
return parts.join('\n\n');
|
||||
@@ -142,7 +163,7 @@ function daysIndex(db, user) {
|
||||
}
|
||||
function dayEntry(db, user, date) {
|
||||
return db.prepare(
|
||||
'SELECT session_id, day, text FROM memory_fragments WHERE user = ? AND day = ? ORDER BY created_at'
|
||||
'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? AND f.day = ? ORDER BY COALESCE(f.last_active_at, f.created_at)'
|
||||
).all(String(user || ''), String(date || '').trim()).map(renderFrag).join('\n\n');
|
||||
}
|
||||
|
||||
|
||||
@@ -1587,6 +1587,18 @@ function runLabHelp(args) {
|
||||
// 历史成果文件不再归日记管:浏览/导入走 list_directory / copy_path 的 @<会话id>/<路径> 记号
|
||||
// (校验单点 resolvePastPath),导入后就是本会话普通文件,read_file/mint 照常处理。
|
||||
// 旧 files/link 两 op 是 ls/mint 的沙箱外克隆,已整删(克隆必漂移:link 漏抄 mint 的 realpath 防线)。
|
||||
// op=day 的 date 容错:模型可能把头部「date=YYYY-MM-DD HH:MM:SS」原样抄回。
|
||||
// 只取开头的日期部分并补零/校验;不扫描全文找日期。
|
||||
const RECALL_DAY_RE = /^(\d{4})[-/.年](\d{1,2})[-/.月](\d{1,2})(?!\d)/;
|
||||
function normalizeRecallDay(v) {
|
||||
const m = RECALL_DAY_RE.exec(String(v || '').trim());
|
||||
if (!m) return '';
|
||||
const y = Number(m[1]), mo = Number(m[2]), d = Number(m[3]);
|
||||
const dt = new Date(Date.UTC(y, mo - 1, d));
|
||||
if (dt.getUTCFullYear() !== y || dt.getUTCMonth() !== mo - 1 || dt.getUTCDate() !== d) return '';
|
||||
return y + '-' + String(mo).padStart(2, '0') + '-' + String(d).padStart(2, '0');
|
||||
}
|
||||
|
||||
function toolRecall(ctx, args) {
|
||||
const op = String(args.op || '').trim().toLowerCase();
|
||||
const db = ctx.db;
|
||||
@@ -1605,8 +1617,8 @@ function toolRecall(ctx, args) {
|
||||
return '【日记索引】共 ' + list.length + ' 天(新在前):\n' + list.join('\n');
|
||||
}
|
||||
case 'day': {
|
||||
const date = String(args.date || '').trim();
|
||||
if (!/^\d{4}-\d{2}-\d{2}$/.test(date)) throw new Error('op=day 需要 date(YYYY-MM-DD,先用 op=days 查有哪些天)');
|
||||
const date = normalizeRecallDay(args.date);
|
||||
if (!date) throw new Error('op=day 需要 date(YYYY-MM-DD,先用 op=days 查有哪些天)');
|
||||
const txt = memory.dayEntry(db, user, date);
|
||||
return txt ? date + ' 的日记:\n' + txt : date + ' 无日记。';
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user