diff --git a/app/config.example.yml b/app/config.example.yml index d46b8e9..c2dd4d7 100644 --- a/app/config.example.yml +++ b/app/config.example.yml @@ -52,6 +52,10 @@ agent: auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关 auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动) +# 长期记忆(日记,memory.js):会话轮换时写当日事件碎片;新会话开场注入近 retain_days 天日记;0=关 +memory: + retain_days: 7 # 保留窗,硬帽 30 天 + upload: image_compress_threshold_kb: 1536 # 大图压缩提示阈值(KB) image_max_dim: 2000 # 压缩后长边上限(px) diff --git a/app/server/config.js b/app/server/config.js index 56147d0..738ad69 100644 --- a/app/server/config.js +++ b/app/server/config.js @@ -87,6 +87,10 @@ const DEFAULTS = { upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10 }, // 技能根目录:留空取 workspace_root 同级 skills(/workspace/tasks → /workspace/skills)。 skills: { skills_root: '', timeout_ms: 120000 }, + // 长期记忆(日记,memory.js):会话轮换(换工作台)时把该次工作写成当日事件碎片, + // 新会话开场注入近几天日记(微信通道拟人化工程 M0-M2)。retain_days = 保留窗(默认 7 天, + // 硬帽 30 超限截断,见 memory.MAX_RETAIN);0 = 整体关闭(不写不读不裁)。 + memory: { retain_days: 7 }, // 【已废弃】旧版模型保持租约(held 到期自动释放)。调度已改为「key 共享并发 + 优先级选择」(见 engine.chooseKey), // 不再有任何到期逻辑;字段保留仅为旧 config.yml 兼容(解析不报错),运行期无人读取。 model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 }, diff --git a/app/server/db.js b/app/server/db.js index 498b9de..fea8555 100644 --- a/app/server/db.js +++ b/app/server/db.js @@ -116,6 +116,17 @@ function initDb(dbPath) { PRIMARY KEY (user, channel) ); + -- 长期记忆(日记,memory.js):一行 (用户, 天),content = 当天累积的日记碎片块。 + -- 碎片在会话轮换(换工作台)时生成,按【来源会话创建日】入当日条目;保留窗外即裁(appendFragment 顺带 + 启动兑底)。 + -- 故意不建外键:记忆是用户级的,删会话不能抹掉它已记入的日记(与 channel_sessions 的懒解析同理)。 + CREATE TABLE IF NOT EXISTS memory_entries ( + user TEXT NOT NULL, + day TEXT NOT NULL, -- 'YYYY-MM-DD'(Asia/Shanghai,与 cron 同时区) + content TEXT NOT NULL, + updated_at INTEGER NOT NULL, + PRIMARY KEY (user, day) + ); + -- 微信绑定(wechat.js):一条 core 用户 ↔ 一个 wxbot iLink bot 实例(扫码登录后仅本人可与 bot 单线对话, -- 协议保证无陌生人入口)。binding id 同时用作 channel 键('wx:'+id,走 routes/channel.js 同一套命令层) -- 和 wxbot 凭证目录名,权威在本表;投递游标 last_msg_id 落库,重启不重发旧回复。 diff --git a/app/server/engine.js b/app/server/engine.js index e680c5f..5565225 100644 --- a/app/server/engine.js +++ b/app/server/engine.js @@ -2,12 +2,13 @@ // 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。 const fs = require('fs'); const path = require('path'); -const { buildMessages, callModel, encodeBlocks, compressMessages, titleMessages, setProfilePrompts } = require('./llm'); +const { buildMessages, callModel, encodeBlocks, decodeBlocks, compressMessages, titleMessages, setProfilePrompts } = require('./llm'); const { executeTool, resolveInTask } = require('./tools/executor'); const publicFiles = require('./public-files'); const mcp = require('./mcp'); const log = require('./log'); const profile = require('./user-profile'); +const memory = require('./memory'); const TOOL_DEFINITIONS = require('./tools/definitions.json'); @@ -1151,6 +1152,104 @@ function maybeAutoCompress(sessionId, run, wasCompressTurn) { } } +// ---------- 长期记忆碎片(日记):会话轮换(换工作台)时为旧会话生成一条当日事件碎片 ---------- +// 与自动标题同模式:fire-and-forget + 内存防重入 + 失败降级;绝不阻塞轮换路径(微信先回信, +// 日记后台慢慢落)。按【旧会话创建日】入 memory_entries(存储/去重/渲染全在 memory.js)。 +// /clear 不记:用户主动清零历史 = 不要这段记忆(已定调)。M0 只提供生成原语,轮换触发接线是 M1。 +const journaling = new Set(); // 正在生成碎片的会话(防双发) +const JOURNAL_SKIP_TYPES = new Set(['archived', 'channel_note', 'scheduler_note']); // 存档与系统注入不是对话本体 +const JOURNAL_BUDGET = 24000; // 转录输入字数预算:超长旧会话取首尾、截中段 + +// 任务目录顶层成果文件名(去 dot 项):降级碎片的底子 + 摘要输入提示。 +function listTaskTopFiles(sessionId) { + try { + return fs.readdirSync(taskDirOf(sessionId), { withFileTypes: true }) + .filter(d => d.isFile() && !d.name.startsWith('.')) + .map(d => d.name).slice(0, 12); + } catch (_) { return []; } // 目录不存在(空会话)= 无成果 +} + +// 转录文本:只留 user/assistant 纯文本行(多模态块拆文本,工具调用/回执不进日记),每条截 400 字。 +function journalTranscript(s, hist, files) { + const lines = []; + for (const row of hist) { + if (row.role !== 'user' && row.role !== 'assistant') continue; + if (JOURNAL_SKIP_TYPES.has(row.type)) continue; + let content = row.content || ''; + const blocks = decodeBlocks(content); + if (blocks) content = blocks.map(b => (b && b.type === 'text' ? b.text : '[图片]')).join('\n'); + content = String(content).replace(/\s+/g, ' ').trim().slice(0, 400); + if (!content) continue; + lines.push((row.role === 'user' ? '用户' : '我') + ': ' + content); + } + const head = '会话标题: ' + (s.title || '未命名') + '\n创建日期: ' + memory.dayString(s.created_at) + + '\n成果文件(任务目录顶层): ' + (files.length ? files.join('、') : '无') + '\n--- 对话转录 ---\n'; + let body = lines.join('\n'); + const budget = JOURNAL_BUDGET - head.length - 40; + if (budget > 100 && body.length > budget) { + const half = Math.floor(budget / 2); + body = body.slice(0, half) + '\n……(中段省略)……\n' + body.slice(body.length - half); + } + return head + body; +} + +function journalMessages(s, hist, files) { + const lang = (cfg.agent && cfg.agent.language) || ''; + const sys = '你是 AI 助理的日记写手:一次工作会话结束(换工作台)时,把它压缩成第一人称的日记片段' + + '(这个 AI 记自己帮用户做过什么)。\n规则:\n' + + '- 只写「发生了什么/交付了什么/有什么悬着没办完」,1~4 行,每行以 "- " 开头,一行一件事;\n' + + '- 成果文件名、关键专名、数字原样保留,不写感想与空泛总结;\n' + + '- 纯文本,总长不超过 180 字;不要标题、不要解释、不要时间前缀。' + + (lang ? '\n使用语言:' + lang : ''); + return [ + { role: 'system', content: sys }, + { role: 'user', content: journalTranscript(s, hist, files) }, + ]; +} + +// 清洗模型返回的日记体:剥围栏包裹、限 6 行、每行强制 "- " 头;空返 '' 触发降级。 +function cleanJournalText(raw) { + let t = String(raw || '').replace(/^\s*```[^\n]*\n?/, '').replace(/\n?\s*```\s*$/, '').trim(); + if (!t) return ''; + const lines = t.split('\n').map(x => x.trim()).filter(Boolean).slice(0, 6); + return lines.map(x => '- ' + x.replace(/^-+\s*/, '')).join('\n'); +} + +// 生成并落库一个会话的日记碎片;返回 Promise(是否写入)。调用方不需要等它。 +function journalFragment(sessionId) { + return new Promise(resolve => { + let settled = false; + const done = v => { if (!settled) { settled = true; resolve(v); } }; + try { + if (!memory.isEnabled(cfg)) return done(false); + if (journaling.has(sessionId)) return done(false); + const s = getSession(sessionId); + if (!s) return done(false); + const day = memory.dayString(s.created_at); + const files = listTaskTopFiles(sessionId); + // 无论成败都落一条:模型不可用/空回时降级为「标题 + 成果文件清单」,日记不断档。 + const finish = body => { + journaling.delete(sessionId); + const text = '【' + (s.title || '未命名会话') + ' · ' + s.id + '】\n' + + (body || '- 本次工作未能生成摘要(模型不可用);成果文件:' + (files.length ? files.join('、') : '无')); + return memory.appendFragment(db, cfg, s.user, day, text, s.id); + }; + if (!s.model_id) return done(finish(null)); // 未绑定:不跑模型,直接记降级版 + journaling.add(sessionId); + callModel(cfg, s.model_id, journalMessages(s, loadHistory(sessionId), files), null, { key_slot: s.model_slot }) + .then(r => done(finish(cleanJournalText(r && r.content)))) + .catch(e => { + log.warn('memory', sessionId + ' 日记摘要失败,写降级版: ' + (e && e.message || e)); + done(finish(null)); + }); + } catch (e) { + journaling.delete(sessionId); + log.warn('memory', sessionId + ' 日记碎片异常: ' + (e && e.message || e)); + done(false); + } + }); +} + // 会话级 /tmp 的宿主机实体:<任务目录>/.tmp(executor wrapper 把它 bind 进容器 /tmp,HOME/TMPDIR 也指这里, // 跨 /exec 保留)。清空对话时一并抹掉:临时产物不该带进新一轮;删了下次执行 executor 懒重建,无副作用。 // 尽力而为:不存在不动;符号链接只断不跟进;失败只记日志不阻断清空。 @@ -1278,6 +1377,7 @@ module.exports = { recordModelUsage, modelUsageStats, bindToSession, + journalFragment, TOOL_DEFINITIONS, effectiveTools, }; diff --git a/app/server/memory.js b/app/server/memory.js new file mode 100644 index 0000000..70765c2 --- /dev/null +++ b/app/server/memory.js @@ -0,0 +1,87 @@ +// 长期记忆(日记):微信通道拟人化工程的 M0 地基——纯存储与渲染,不碰模型 +//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 失败降级)。 +// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质), +// 日记记「我近几天帮他做过什么」(事件记忆、按天条目),两类记忆互不混。 +// 规则: +// - (user, day) 一行;碎片 = 会话轮换(下班换工作台)时生成的一小段第一人称记录, +// 按【来源会话创建日】追加进当日条目;同日多碎片按到达顺序拼接,不做 LLM 二次合并 +// (确定性、零成本,每片本身已是条目化短文本); +// - sid 去重:同一会话向同一天的条目只贡献一次碎片(防轮换竞态双写;代价:同一会话 +// 被 /switch 捡回再离开时第二片同样被挡——M0 接受的简化,粒度留到轮换触发接线时复盘); +// - memory.retain_days = 保留窗口(默认 7 天,硬帽 MAX_RETAIN);0 = 整体关闭(不写不读不裁)。 +// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。 + +const TZ = 'Asia/Shanghai'; +const MAX_RETAIN = 30; +const DAY_MAX = 4000; // 单日条目长度帽:溢出从头部裁(保最近片段) +const FRAG_MAX = 600; // 单碎片长度帽(含【标题 · sid】头行) + +function retainDays(cfg) { + const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0); + return Math.max(0, Math.min(MAX_RETAIN, n)); +} +function isEnabled(cfg) { return retainDays(cfg) > 0; } + +const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD' +function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); } + +// 近 n 天窗口(含今天),数组按日期降序(新在前)。 +function recentDays(cfg, refMs) { + const n = retainDays(cfg); + const out = []; + const t = Number(refMs) || Date.now(); + for (let i = 0; i < n; i++) out.push(dayString(t - i * 86400000)); + return out; +} + +// ---------- 写:碎片追加进对应天条目 ---------- +// sid 三重角色:去重标记 / 条目里的下钻索引(M3 回忆按它取旧会话详情与成果文件)/ 溯源。 +function appendFragment(db, cfg, user, day, text, sid) { + if (!isEnabled(cfg) || !day) return false; + const frag = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX); + if (!frag) return false; + const key = String(user || ''); + const row = db.prepare('SELECT content FROM memory_entries WHERE user = ? AND day = ?').get(key, day); + const base = row ? String(row.content) : ''; + if (sid && base.includes(String(sid))) return false; // 本会话已入当天日记 + let next = base ? base + '\n\n' + frag : frag; + if (next.length > DAY_MAX) next = next.slice(next.length - DAY_MAX); + db.prepare( + 'INSERT INTO memory_entries (user, day, content, updated_at) VALUES (?,?,?,?)' + + ' ON CONFLICT(user, day) DO UPDATE SET content = excluded.content, updated_at = excluded.updated_at' + ).run(key, day, next, Date.now()); + prune(db, cfg); // 裁剪就一条廉价 DELETE,每次追加顺带做,表恒在保留窗内 + return true; +} + +// ---------- 读:渲染成可注入会话上下文的日记文本(M2 的数据源) ---------- +// 无记忆返回 '';天降序(新在前);头行说明 sid 用途,AI 自然知道可以下钻。 +function journalFor(db, cfg, user) { + const n = retainDays(cfg); + if (!n) return ''; + const days = recentDays(cfg); + const rows = db.prepare( + 'SELECT day, content FROM memory_entries WHERE user = ? AND day IN (' + + days.map(() => '?').join(',') + ') ORDER BY day DESC' + ).all(String(user || ''), ...days); + if (!rows.length) return ''; + const head = '【长期记忆·日记(近' + n + '天)】近期交互的当日事件记录;' + + '【… · 】内的编号是当时会话 id,需要当时的对话细节或成果文件时,用回忆工具按它下钻。'; + const parts = [head]; + for (const r of rows) parts.push('=== ' + r.day + ' ===\n' + r.content); + return parts.join('\n\n'); +} + +// ---------- 裁剪:day 为 ISO 串,字典序即日期序 ---------- +function prune(db, cfg) { + const days = recentDays(cfg); + if (!days.length) return 0; + const res = db.prepare('DELETE FROM memory_entries WHERE day < ?').run(days[days.length - 1]); + return res.changes || 0; +} + +module.exports = { + isEnabled, retainDays, dayString, recentDays, + appendFragment, journalFor, prune, + MAX_RETAIN, DAY_MAX, FRAG_MAX, +}; diff --git a/app/server/server.js b/app/server/server.js index a2b43f8..182d87b 100644 --- a/app/server/server.js +++ b/app/server/server.js @@ -26,6 +26,8 @@ engine.init(); // 定时任务调度器(scheduler.js):必须在 engine.init() 之后启动——init 先把会话状态归位 //(active/遗留 queued → held),首轮 tick 才不会看到脏状态。 scheduler.start(engine); +// 长期记忆保留窗裁剪(memory.js):平时追加碎片顺带裁,这里兑底「窗口改小/长期无轮换」的表残留。 +require('./memory').prune(db, cfg); // 微信接入(wechat.js,可选能力):env WXBOT_URL/WXBOT_TOKEN 未就位 = 全部静默关闭;配了但 wxbot 没起 = // restore 只留一行日志,不重试不报错(用户在设置页点刷新自愈),不影响 Web 主流程。