diff --git a/app/server/db.js b/app/server/db.js index e7ec993..6c3174a 100644 --- a/app/server/db.js +++ b/app/server/db.js @@ -116,7 +116,7 @@ function initDb(dbPath) { ); -- 长期记忆(日记,memory.js):一片碎片一行——会话收口(下班)时落库,(user, session_id) 主键即去重。 - -- day = 事件日(会话最后活跃日,Asia/Shanghai 与 cron 同时区):人回忆问「哪天干的活」,不是「哪天补记的」。 + -- day = 事件日(Asia/Shanghai 与 cron 同时区):由 last_active_at 派生;人回忆问「哪天干的活」,不是「哪天补记的」。 -- text = 纯日记正文(- 行列表);来源会话 id 存在 session_id 列,【id】展示样式只在渲染层拼,存储零冗余。 -- 故意不建外键:主键是 (user, session_id),SQLite 要求引用列命中唯一约束,单列 session_id -- 建不了 FK;且删会话的连带清理由 engine.deleteSession 显式 memory.dropFragment 承担 @@ -127,7 +127,8 @@ function initDb(dbPath) { session_id TEXT NOT NULL, day TEXT NOT NULL, -- 'YYYY-MM-DD'(事件日) text TEXT NOT NULL, - created_at INTEGER NOT NULL, -- 收口时刻(注入/检索的时序键) + created_at INTEGER NOT NULL, -- 收口时刻(写入/迁移时间,不当作事件时刻) + last_active_at INTEGER, -- 最后一条真实 user/assistant 消息的时刻(收口时快照;存量回填可为 NULL) PRIMARY KEY (user, session_id) ); @@ -287,6 +288,26 @@ function initDb(dbPath) { 'DELETE FROM memory_fragments WHERE session_id NOT IN (SELECT id FROM sessions)' ).run().changes || 0; if (orphan) console.log('[db] 清理孤儿日记碎片 ' + orphan + ' 条(来源会话已删除)'); + // 迁移:日记碎片补 last_active_at(最后真实对话时刻)。created_at 是收口/迁移时间,不能当事件时刻; + // 存量行按「最后真实消息 → updated_at → created_at」找第一个上海日期等于 day 的候选,找不到就留 NULL + //(渲染时只显示日期)。放在 memory_entries 迁移之后,刚搬过来的行也能一起回填。 + try { db.exec('ALTER TABLE memory_fragments ADD COLUMN last_active_at INTEGER'); } catch (_) { /* 已存在 */ } + const needStamp = db.prepare('SELECT 1 FROM memory_fragments WHERE last_active_at IS NULL LIMIT 1').get(); + if (needStamp) { + const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: 'Asia/Shanghai' }); + const lastMsg = db.prepare( + "SELECT MAX(created_at) AS m FROM messages WHERE session_id = ? AND type IS NULL AND role IN ('user','assistant')" + ); + const getUpdated = db.prepare('SELECT updated_at FROM sessions WHERE id = ?'); + const setStamp = db.prepare('UPDATE memory_fragments SET last_active_at = ? WHERE user = ? AND session_id = ?'); + for (const f of db.prepare('SELECT user, session_id, day, created_at FROM memory_fragments WHERE last_active_at IS NULL').all()) { + const m = lastMsg.get(f.session_id); + const s = getUpdated.get(f.session_id); + const cands = [m && m.m, s && s.updated_at, f.created_at].filter(Boolean).map(Number); + const pick = cands.find(ms => dayFmt.format(new Date(ms)) === f.day); + if (pick) setStamp.run(pick, f.user, f.session_id); + } + } return db; } diff --git a/app/server/engine.js b/app/server/engine.js index cdbf0d3..16f2784 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -1198,7 +1198,7 @@ function maybeAutoCompress(sessionId, run, wasCompressTurn) { // ---------- 长期记忆碎片(日记):会话收口(下班)时为其生成一条事件碎片 ---------- // 与自动标题同模式:fire-and-forget + 内存防重入;绝不阻塞轮换路径(微信先回信, -// 日记后台慢慢落)。一片一行入 memory_fragments,day=事件日(会话最后活跃日), +// 日记后台慢慢落)。一片一行入 memory_fragments,day 由最后真实对话时刻(last_active_at)派生, // 去重靠 (user, session_id) 主键;渲染/检索全在 memory.js。 // /clear 不记也不留:用户主动清零历史 = 不要这段记忆(已定调),旧碎片随清空一并撕掉(闹钟专柜除外,见 clearSessionMessages)。 // 摘要模型走候选链兜底(用户定调:日记错过即丢,不能死于会话原绑模型这一个单点): @@ -1274,6 +1274,15 @@ function journalCandidateModels(s) { return cands; } +// 最后真实对话时刻(毫秒):注入/归档/摘要/工具回执都不算;没有对话时退回会话 updated_at。 +// 这是日记的「事件时刻」,不可用 created_at(收口/迁移时间)替代。 +function lastActiveAtOf(sessionId, fallback) { + const r = db.prepare( + "SELECT MAX(created_at) AS m FROM messages WHERE session_id = ? AND type IS NULL AND role IN ('user','assistant')" + ).get(String(sessionId)); + return (r && r.m) || Number(fallback) || now(); +} + // 生成并落库一个会话的日记碎片;返回 Promise(是否写入)。调用方不需要等它。 function journalFragment(sessionId) { return new Promise(resolve => { @@ -1283,12 +1292,14 @@ function journalFragment(sessionId) { if (journaling.has(sessionId)) return done(false); const s = getSession(sessionId); if (!s || s.journaled_at) return done(false); // 已收口的会话不二次碎片(每会话唯一碎片的入口保证) - const day = memory.dayString(s.updated_at || now()); // 事件日=会话最后活跃日(C 定稿):人回忆问哪天干的活,不是哪天补记 + // 事件时刻取最后一条真实对话消息;没有对话再退回 updated_at。day 与它同源,避免日期/时刻互相打架。 + const lastActiveAt = lastActiveAtOf(sessionId, s.updated_at); + const day = memory.dayString(lastActiveAt); // 无论成败都落一条:降级版写明真实原因(调试页可见);来源会话 id 是表列,正文零元数据。 const finish = (body, reason) => { journaling.delete(sessionId); const r = memory.appendFragment(db, cfg, s.user, s.id, day, - body || '- 本次工作未能生成摘要(' + (reason || '原因未知') + '),详情可按会话 id 回忆'); + body || '- 本次工作未能生成摘要(' + (reason || '原因未知') + '),详情可按会话 id 回忆', lastActiveAt); if (r === 'added' || r === 'dupe') memory.markJournaled(db, sessionId, now()); // dupe 也算收口,不重试 return r === 'added' || r === 'dupe'; }; @@ -1337,8 +1348,9 @@ function taskClockOut(sessionId) { const t = db.prepare('SELECT cron_expr, prompt, brief FROM scheduled_tasks WHERE session_id = ?').get(sessionId); if (!t) return; const what = String(t.brief || t.prompt || '').replace(/\s+/g, ' ').trim().slice(0, 80); - const r = memory.appendFragment(db, cfg, s.user, s.id, memory.dayString(s.updated_at || now()), - '- 用户让我设了个闹钟:' + what + '(频率 ' + t.cron_expr + ')'); + const lastActiveAt = lastActiveAtOf(sessionId, s.updated_at); + const r = memory.appendFragment(db, cfg, s.user, s.id, memory.dayString(lastActiveAt), + '- 用户让我设了个闹钟:' + what + '(频率 ' + t.cron_expr + ')', lastActiveAt); if (r === 'added' || r === 'dupe') memory.markJournaled(db, sessionId, now()); if (s.status === 'held') { try { releaseHold(sessionId); } catch (_) { /* 并发归档 */ } } const un = db.prepare('DELETE FROM channel_sessions WHERE session_id = ?').run(sessionId); diff --git a/app/server/memory.js b/app/server/memory.js index a96920d..e9dbc59 100644 --- a/app/server/memory.js +++ b/app/server/memory.js @@ -2,11 +2,13 @@ //(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 候选模型兜底链)。 // 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质), // 日记记「我近来帮他做过什么」(事件记忆),两类记忆互不混。 -// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at)。 -// - day = 事件日(会话最后活跃日):人回忆问的是「哪天干的活」,不是「哪天补记的」; +// 结构(C 定稿):一片碎片一行——memory_fragments(user, session_id PK, day, text, created_at, last_active_at)。 +// - day = 事件日(Asia/Shanghai),由 last_active_at 派生:人回忆问的是「哪天干的活」,不是「哪天补记的」; +// - last_active_at = 收口时快照的最后一条真实 user/assistant 消息时刻(存量数据可为 NULL); // - text = 纯日记正文("- " 行列表),【来源会话 id】展示样式只在渲染层拼,存储零冗余元数据; +// - title 不落碎片表,渲染时 join sessions 取当前标题; // - (user, session_id) 主键即「每会话唯一碎片」的存储级保证(engine 侧 journaled_at 是扫描预排除); -// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(created_at 倒序);更早的没消失—— +// - 注入 =「嘴边的工作记忆」:开场只带最近 inject_max 片(day 优先、同日按 last_active_at 倒序);更早的没消失—— // recall 工具 op=search/days/day 走全表;retain_days > 0 才按 day 硬裁(默认 0 = 不按时间删, // 但删会话会连带撕掉它的碎片,见 dropFragment)。 // 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。 @@ -27,7 +29,17 @@ function injectMax(cfg) { } const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD' +const timeFmt = new Intl.DateTimeFormat('en-GB', { + timeZone: TZ, hour: '2-digit', minute: '2-digit', second: '2-digit', hourCycle: 'h23' +}); function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); } +// 'YYYY-MM-DD HH:MM:SS'(上海时区);脏/空值返 '',由调用方退回只显示 day。 +function stampString(ms) { + const n = Number(ms); + if (!Number.isFinite(n) || n <= 0) return ''; + const d = new Date(n); + return dayFmt.format(d) + ' ' + timeFmt.format(d); +} // 保留窗最旧一天的日串(retain_days=0 → 空串 = 无下界)。 function cutoffDay(cfg, refMs) { @@ -38,12 +50,14 @@ function cutoffDay(cfg, refMs) { // ---------- 写:一片一行,主键即去重 ---------- // 返回 'added' 新落 / 'dupe' 该会话已有碎片(主键冲突)/ 'invalid' 参数不全。 // 调用方(engine 收口链路)把 added/dupe 都视为已收口落 journaled 标记,不重试不重复摘要。 -function appendFragment(db, cfg, user, sessionId, day, text) { +function appendFragment(db, cfg, user, sessionId, day, text, lastActiveAt) { const body = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX); if (!sessionId || !day || !body) return 'invalid'; + // last_active_at 是事件时刻快照;created_at 是本碎片收口/写入时间,两者不可混用。 + const stamp = Number(lastActiveAt) || Date.now(); const r = db.prepare( - 'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at) VALUES (?,?,?,?,?)' - ).run(String(user || ''), String(sessionId), day, body, Date.now()); + 'INSERT OR IGNORE INTO memory_fragments (user, session_id, day, text, created_at, last_active_at) VALUES (?,?,?,?,?,?)' + ).run(String(user || ''), String(sessionId), day, body, Date.now(), stamp); if (!r.changes) return 'dupe'; prune(db, cfg); // 廉价 DELETE 顺带做;retain_days=0 时 no-op return 'added'; @@ -65,28 +79,35 @@ function markJournaled(db, sessionId, ms) { } // ---------- 读:开场注入文本(wechat/web 新会话的数据源) ---------- -// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),逐片「## id,day」自描述: +// 最近 inject_max 片按事件日优先(同序供 injectedIds/journalFor 共用),逐片「## id, date, title」自描述: // 新日在前、天内按发生顺序。 // 选取序单点定义在此(调试 API/页面走 injectedIds 取名单,不另算一套,避免两边错位)。 -const INJECT_ORDER = ' ORDER BY day DESC, created_at DESC'; +const INJECT_ORDER = ' ORDER BY f.day DESC, COALESCE(f.last_active_at, f.created_at) DESC'; +// 读路径统一列清单:renderFrag 依赖 day/last_active_at/title,三处查询不再各写 SELECT,避免漏列。 +const FRAG_COLS = 'f.session_id, f.day, f.text, f.last_active_at, s.title'; +const FRAG_FROM = ' FROM memory_fragments f LEFT JOIN sessions s ON s.id = f.session_id'; // 注入窗名单:与 journalFor 同选取规则的 session_id 列表(调试页打「已注入」标用)。 function injectedIds(db, cfg, user) { const cap = injectMax(cfg); if (!cap) return []; return db.prepare( - 'SELECT session_id FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?' + 'SELECT f.session_id FROM memory_fragments f WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?' ).all(String(user || ''), cap).map(r => r.session_id); } -// 渲染逐片自描述:「## id=…, day=…」——新在前、天内按发生顺序;id/day 进标题即机器可读, -// 分天组头退役。 -function renderFrag(r) { return '## id=' + r.session_id + ', day=' + r.day + '\n' + r.text; } +// 渲染逐片自描述:「## id=…, date=YYYY-MM-DD HH:MM:SS, title=…」——新在前、天内按发生顺序。 +// 旧数据没有 last_active_at 时只显示 day;标题为空时整段省略,绝不拼出 undefined。 +function renderFrag(r) { + const when = stampString(r.last_active_at) || r.day || '未知'; + const title = String(r.title || '').replace(/\s+/g, ' ').trim(); + return '## id=' + r.session_id + ', date=' + when + (title ? ', title=' + title : '') + '\n' + r.text; +} function journalFor(db, cfg, user) { const cap = injectMax(cfg); if (!cap) return ''; const rows = db.prepare( // 选取按事件日(积压补记/迁移会令 created_at 齐平,按收口序会拿到「最晚补记」而非「最新事件」; - // 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按收口时刻。 - 'SELECT session_id, day, text FROM memory_fragments WHERE user = ?' + INJECT_ORDER + ' LIMIT ?' + // 稳态下两者等价,事件日序更符合「最近记忆」直觉),同日并列再按最后对话时刻。 + 'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ?' + INJECT_ORDER + ' LIMIT ?' ).all(String(user || ''), cap); if (!rows.length) return ''; const groups = []; @@ -116,7 +137,7 @@ function searchFragments(db, user, query, count) { if (!toks.length) return ''; const lim = Math.max(1, Math.min(30, Number(count) || 10)); const rows = db.prepare( - 'SELECT session_id, day, text FROM memory_fragments WHERE user = ? ORDER BY created_at DESC' + 'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? ORDER BY COALESCE(f.last_active_at, f.created_at) DESC' ).all(String(user || '')); const hits = []; rows.forEach((r, i) => { @@ -128,7 +149,7 @@ function searchFragments(db, user, query, count) { if (!hits.length) return ''; hits.sort((a, b) => b.score - a.score || a.i - b.i); const shown = hits.slice(0, lim); - // 条目自带 day(renderFrag 标题),行内只留相关度不重复日期 + // 条目自带 date(renderFrag 标题),行内只留相关度不重复日期 const parts = ['【日记检索】「' + String(query).trim() + '」命中 ' + hits.length + ' 条,按相关度列前 ' + shown.length + ' 条:']; for (const h of shown) parts.push('--- 匹配 ' + Math.round(h.score * 100) + '% ---\n' + renderFrag(h.r)); return parts.join('\n\n'); @@ -142,7 +163,7 @@ function daysIndex(db, user) { } function dayEntry(db, user, date) { return db.prepare( - 'SELECT session_id, day, text FROM memory_fragments WHERE user = ? AND day = ? ORDER BY created_at' + 'SELECT ' + FRAG_COLS + FRAG_FROM + ' WHERE f.user = ? AND f.day = ? ORDER BY COALESCE(f.last_active_at, f.created_at)' ).all(String(user || ''), String(date || '').trim()).map(renderFrag).join('\n\n'); } diff --git a/app/server/tools/executor.js b/app/server/tools/executor.js index aa12071..3c3da7d 100644 --- a/app/server/tools/executor.js +++ b/app/server/tools/executor.js @@ -1587,6 +1587,18 @@ function runLabHelp(args) { // 历史成果文件不再归日记管:浏览/导入走 list_directory / copy_path 的 @<会话id>/<路径> 记号 // (校验单点 resolvePastPath),导入后就是本会话普通文件,read_file/mint 照常处理。 // 旧 files/link 两 op 是 ls/mint 的沙箱外克隆,已整删(克隆必漂移:link 漏抄 mint 的 realpath 防线)。 +// op=day 的 date 容错:模型可能把头部「date=YYYY-MM-DD HH:MM:SS」原样抄回。 +// 只取开头的日期部分并补零/校验;不扫描全文找日期。 +const RECALL_DAY_RE = /^(\d{4})[-/.年](\d{1,2})[-/.月](\d{1,2})(?!\d)/; +function normalizeRecallDay(v) { + const m = RECALL_DAY_RE.exec(String(v || '').trim()); + if (!m) return ''; + const y = Number(m[1]), mo = Number(m[2]), d = Number(m[3]); + const dt = new Date(Date.UTC(y, mo - 1, d)); + if (dt.getUTCFullYear() !== y || dt.getUTCMonth() !== mo - 1 || dt.getUTCDate() !== d) return ''; + return y + '-' + String(mo).padStart(2, '0') + '-' + String(d).padStart(2, '0'); +} + function toolRecall(ctx, args) { const op = String(args.op || '').trim().toLowerCase(); const db = ctx.db; @@ -1605,8 +1617,8 @@ function toolRecall(ctx, args) { return '【日记索引】共 ' + list.length + ' 天(新在前):\n' + list.join('\n'); } case 'day': { - const date = String(args.date || '').trim(); - if (!/^\d{4}-\d{2}-\d{2}$/.test(date)) throw new Error('op=day 需要 date(YYYY-MM-DD,先用 op=days 查有哪些天)'); + const date = normalizeRecallDay(args.date); + if (!date) throw new Error('op=day 需要 date(YYYY-MM-DD,先用 op=days 查有哪些天)'); const txt = memory.dayEntry(db, user, date); return txt ? date + ' 的日记:\n' + txt : date + ' 无日记。'; }