feat(memory): M0 长期记忆地基——按天日记表 + 碎片存储渲染 + 轮换摘要生成原语
微信通道拟人化工程第一步(定位:让用户觉得对面是「有记忆的真实的人」, 与 profile 分工:画像=用户是什么样的人[语义记忆],日记=近几天帮他做过什么[事件记忆])。 - memory.js(新):memory_entries(user, day) 纯存储/渲染,无模型调用—— appendFragment 碎片追加(sid 去重防轮换双写、同日多片机械拼接不做 LLM 二次合并、 DAY_MAX 溢出保最近);journalFor 渲染近 N 天注入文本(M2 数据源,头行说明 sid 供 M3 回忆下钻);prune 按 ISO 天串裁保留窗外(每次追加顺带 + 启动兑底)。 - engine.journalFragment(sessionId):会话轮换(换工作台)时为旧会话生成一条当日 第一人称日记碎片——自动标题同模式 fire-and-forget + journaling 防重入 + 失败降级为「标题+成果文件清单」,永不阻塞轮换路径(微信先回信、日记后台落)。 转录按【旧会话创建日】入条目,跳 archived/channel_note/scheduler_note, 超长取首尾截中段;/clear 不记(主动清零=不要这段记忆,已定调)。 - config: memory.retain_days 默认 7(硬帽 30),0=整体关闭;示例同步。 - db: 建表不建外键(用户级记忆不随删会话消失);时区 Asia/Shanghai 与 cron 对齐。 M0 不含触发接线(M1:4h 间隔/超长/new 换绑轮换)与注入(M2)。
This commit is contained in:
@@ -52,6 +52,10 @@ agent:
|
||||
auto_compress_tokens: 60000 # In token 超此值弹「自动压缩」提议;0=关
|
||||
auto_complete_ms: 1800000 # 保持中(held)超此时长自动收口为已完成;0=关(纯状态动作,历史/模型绑定不动)
|
||||
|
||||
# 长期记忆(日记,memory.js):会话轮换时写当日事件碎片;新会话开场注入近 retain_days 天日记;0=关
|
||||
memory:
|
||||
retain_days: 7 # 保留窗,硬帽 30 天
|
||||
|
||||
upload:
|
||||
image_compress_threshold_kb: 1536 # 大图压缩提示阈值(KB)
|
||||
image_max_dim: 2000 # 压缩后长边上限(px)
|
||||
|
||||
@@ -87,6 +87,10 @@ const DEFAULTS = {
|
||||
upload: { image_compress_threshold_kb: 1536, image_max_dim: 2000, image_quality: 0.85, confirm_size_mb: 10 },
|
||||
// 技能根目录:留空取 workspace_root 同级 skills(/workspace/tasks → /workspace/skills)。
|
||||
skills: { skills_root: '', timeout_ms: 120000 },
|
||||
// 长期记忆(日记,memory.js):会话轮换(换工作台)时把该次工作写成当日事件碎片,
|
||||
// 新会话开场注入近几天日记(微信通道拟人化工程 M0-M2)。retain_days = 保留窗(默认 7 天,
|
||||
// 硬帽 30 超限截断,见 memory.MAX_RETAIN);0 = 整体关闭(不写不读不裁)。
|
||||
memory: { retain_days: 7 },
|
||||
// 【已废弃】旧版模型保持租约(held 到期自动释放)。调度已改为「key 共享并发 + 优先级选择」(见 engine.chooseKey),
|
||||
// 不再有任何到期逻辑;字段保留仅为旧 config.yml 兼容(解析不报错),运行期无人读取。
|
||||
model_hold: { idle_release_ms: 180000, active_max_ms: 1800000, sweep_ms: 10000 },
|
||||
|
||||
@@ -116,6 +116,17 @@ function initDb(dbPath) {
|
||||
PRIMARY KEY (user, channel)
|
||||
);
|
||||
|
||||
-- 长期记忆(日记,memory.js):一行 (用户, 天),content = 当天累积的日记碎片块。
|
||||
-- 碎片在会话轮换(换工作台)时生成,按【来源会话创建日】入当日条目;保留窗外即裁(appendFragment 顺带 + 启动兑底)。
|
||||
-- 故意不建外键:记忆是用户级的,删会话不能抹掉它已记入的日记(与 channel_sessions 的懒解析同理)。
|
||||
CREATE TABLE IF NOT EXISTS memory_entries (
|
||||
user TEXT NOT NULL,
|
||||
day TEXT NOT NULL, -- 'YYYY-MM-DD'(Asia/Shanghai,与 cron 同时区)
|
||||
content TEXT NOT NULL,
|
||||
updated_at INTEGER NOT NULL,
|
||||
PRIMARY KEY (user, day)
|
||||
);
|
||||
|
||||
-- 微信绑定(wechat.js):一条 core 用户 ↔ 一个 wxbot iLink bot 实例(扫码登录后仅本人可与 bot 单线对话,
|
||||
-- 协议保证无陌生人入口)。binding id 同时用作 channel 键('wx:'+id,走 routes/channel.js 同一套命令层)
|
||||
-- 和 wxbot 凭证目录名,权威在本表;投递游标 last_msg_id 落库,重启不重发旧回复。
|
||||
|
||||
+101
-1
@@ -2,12 +2,13 @@
|
||||
// 单进程内存模型:JS 单线程 + better-sqlite3 同步 API,不存在跨进程竞争。
|
||||
const fs = require('fs');
|
||||
const path = require('path');
|
||||
const { buildMessages, callModel, encodeBlocks, compressMessages, titleMessages, setProfilePrompts } = require('./llm');
|
||||
const { buildMessages, callModel, encodeBlocks, decodeBlocks, compressMessages, titleMessages, setProfilePrompts } = require('./llm');
|
||||
const { executeTool, resolveInTask } = require('./tools/executor');
|
||||
const publicFiles = require('./public-files');
|
||||
const mcp = require('./mcp');
|
||||
const log = require('./log');
|
||||
const profile = require('./user-profile');
|
||||
const memory = require('./memory');
|
||||
|
||||
const TOOL_DEFINITIONS = require('./tools/definitions.json');
|
||||
|
||||
@@ -1151,6 +1152,104 @@ function maybeAutoCompress(sessionId, run, wasCompressTurn) {
|
||||
}
|
||||
}
|
||||
|
||||
// ---------- 长期记忆碎片(日记):会话轮换(换工作台)时为旧会话生成一条当日事件碎片 ----------
|
||||
// 与自动标题同模式:fire-and-forget + 内存防重入 + 失败降级;绝不阻塞轮换路径(微信先回信,
|
||||
// 日记后台慢慢落)。按【旧会话创建日】入 memory_entries(存储/去重/渲染全在 memory.js)。
|
||||
// /clear 不记:用户主动清零历史 = 不要这段记忆(已定调)。M0 只提供生成原语,轮换触发接线是 M1。
|
||||
const journaling = new Set(); // 正在生成碎片的会话(防双发)
|
||||
const JOURNAL_SKIP_TYPES = new Set(['archived', 'channel_note', 'scheduler_note']); // 存档与系统注入不是对话本体
|
||||
const JOURNAL_BUDGET = 24000; // 转录输入字数预算:超长旧会话取首尾、截中段
|
||||
|
||||
// 任务目录顶层成果文件名(去 dot 项):降级碎片的底子 + 摘要输入提示。
|
||||
function listTaskTopFiles(sessionId) {
|
||||
try {
|
||||
return fs.readdirSync(taskDirOf(sessionId), { withFileTypes: true })
|
||||
.filter(d => d.isFile() && !d.name.startsWith('.'))
|
||||
.map(d => d.name).slice(0, 12);
|
||||
} catch (_) { return []; } // 目录不存在(空会话)= 无成果
|
||||
}
|
||||
|
||||
// 转录文本:只留 user/assistant 纯文本行(多模态块拆文本,工具调用/回执不进日记),每条截 400 字。
|
||||
function journalTranscript(s, hist, files) {
|
||||
const lines = [];
|
||||
for (const row of hist) {
|
||||
if (row.role !== 'user' && row.role !== 'assistant') continue;
|
||||
if (JOURNAL_SKIP_TYPES.has(row.type)) continue;
|
||||
let content = row.content || '';
|
||||
const blocks = decodeBlocks(content);
|
||||
if (blocks) content = blocks.map(b => (b && b.type === 'text' ? b.text : '[图片]')).join('\n');
|
||||
content = String(content).replace(/\s+/g, ' ').trim().slice(0, 400);
|
||||
if (!content) continue;
|
||||
lines.push((row.role === 'user' ? '用户' : '我') + ': ' + content);
|
||||
}
|
||||
const head = '会话标题: ' + (s.title || '未命名') + '\n创建日期: ' + memory.dayString(s.created_at)
|
||||
+ '\n成果文件(任务目录顶层): ' + (files.length ? files.join('、') : '无') + '\n--- 对话转录 ---\n';
|
||||
let body = lines.join('\n');
|
||||
const budget = JOURNAL_BUDGET - head.length - 40;
|
||||
if (budget > 100 && body.length > budget) {
|
||||
const half = Math.floor(budget / 2);
|
||||
body = body.slice(0, half) + '\n……(中段省略)……\n' + body.slice(body.length - half);
|
||||
}
|
||||
return head + body;
|
||||
}
|
||||
|
||||
function journalMessages(s, hist, files) {
|
||||
const lang = (cfg.agent && cfg.agent.language) || '';
|
||||
const sys = '你是 AI 助理的日记写手:一次工作会话结束(换工作台)时,把它压缩成第一人称的日记片段'
|
||||
+ '(这个 AI 记自己帮用户做过什么)。\n规则:\n'
|
||||
+ '- 只写「发生了什么/交付了什么/有什么悬着没办完」,1~4 行,每行以 "- " 开头,一行一件事;\n'
|
||||
+ '- 成果文件名、关键专名、数字原样保留,不写感想与空泛总结;\n'
|
||||
+ '- 纯文本,总长不超过 180 字;不要标题、不要解释、不要时间前缀。'
|
||||
+ (lang ? '\n使用语言:' + lang : '');
|
||||
return [
|
||||
{ role: 'system', content: sys },
|
||||
{ role: 'user', content: journalTranscript(s, hist, files) },
|
||||
];
|
||||
}
|
||||
|
||||
// 清洗模型返回的日记体:剥围栏包裹、限 6 行、每行强制 "- " 头;空返 '' 触发降级。
|
||||
function cleanJournalText(raw) {
|
||||
let t = String(raw || '').replace(/^\s*```[^\n]*\n?/, '').replace(/\n?\s*```\s*$/, '').trim();
|
||||
if (!t) return '';
|
||||
const lines = t.split('\n').map(x => x.trim()).filter(Boolean).slice(0, 6);
|
||||
return lines.map(x => '- ' + x.replace(/^-+\s*/, '')).join('\n');
|
||||
}
|
||||
|
||||
// 生成并落库一个会话的日记碎片;返回 Promise<boolean>(是否写入)。调用方不需要等它。
|
||||
function journalFragment(sessionId) {
|
||||
return new Promise(resolve => {
|
||||
let settled = false;
|
||||
const done = v => { if (!settled) { settled = true; resolve(v); } };
|
||||
try {
|
||||
if (!memory.isEnabled(cfg)) return done(false);
|
||||
if (journaling.has(sessionId)) return done(false);
|
||||
const s = getSession(sessionId);
|
||||
if (!s) return done(false);
|
||||
const day = memory.dayString(s.created_at);
|
||||
const files = listTaskTopFiles(sessionId);
|
||||
// 无论成败都落一条:模型不可用/空回时降级为「标题 + 成果文件清单」,日记不断档。
|
||||
const finish = body => {
|
||||
journaling.delete(sessionId);
|
||||
const text = '【' + (s.title || '未命名会话') + ' · ' + s.id + '】\n'
|
||||
+ (body || '- 本次工作未能生成摘要(模型不可用);成果文件:' + (files.length ? files.join('、') : '无'));
|
||||
return memory.appendFragment(db, cfg, s.user, day, text, s.id);
|
||||
};
|
||||
if (!s.model_id) return done(finish(null)); // 未绑定:不跑模型,直接记降级版
|
||||
journaling.add(sessionId);
|
||||
callModel(cfg, s.model_id, journalMessages(s, loadHistory(sessionId), files), null, { key_slot: s.model_slot })
|
||||
.then(r => done(finish(cleanJournalText(r && r.content))))
|
||||
.catch(e => {
|
||||
log.warn('memory', sessionId + ' 日记摘要失败,写降级版: ' + (e && e.message || e));
|
||||
done(finish(null));
|
||||
});
|
||||
} catch (e) {
|
||||
journaling.delete(sessionId);
|
||||
log.warn('memory', sessionId + ' 日记碎片异常: ' + (e && e.message || e));
|
||||
done(false);
|
||||
}
|
||||
});
|
||||
}
|
||||
|
||||
// 会话级 /tmp 的宿主机实体:<任务目录>/.tmp(executor wrapper 把它 bind 进容器 /tmp,HOME/TMPDIR 也指这里,
|
||||
// 跨 /exec 保留)。清空对话时一并抹掉:临时产物不该带进新一轮;删了下次执行 executor 懒重建,无副作用。
|
||||
// 尽力而为:不存在不动;符号链接只断不跟进;失败只记日志不阻断清空。
|
||||
@@ -1278,6 +1377,7 @@ module.exports = {
|
||||
recordModelUsage,
|
||||
modelUsageStats,
|
||||
bindToSession,
|
||||
journalFragment,
|
||||
TOOL_DEFINITIONS,
|
||||
effectiveTools,
|
||||
};
|
||||
|
||||
@@ -0,0 +1,87 @@
|
||||
// 长期记忆(日记):微信通道拟人化工程的 M0 地基——纯存储与渲染,不碰模型
|
||||
//(碎片摘要生成在 engine.journalFragment,与自动标题同模式:fire-and-forget + 失败降级)。
|
||||
// 与 profile(user-profile.js)分工:profile 记「用户是什么样的人」(语义记忆、稳定特质),
|
||||
// 日记记「我近几天帮他做过什么」(事件记忆、按天条目),两类记忆互不混。
|
||||
// 规则:
|
||||
// - (user, day) 一行;碎片 = 会话轮换(下班换工作台)时生成的一小段第一人称记录,
|
||||
// 按【来源会话创建日】追加进当日条目;同日多碎片按到达顺序拼接,不做 LLM 二次合并
|
||||
// (确定性、零成本,每片本身已是条目化短文本);
|
||||
// - sid 去重:同一会话向同一天的条目只贡献一次碎片(防轮换竞态双写;代价:同一会话
|
||||
// 被 /switch 捡回再离开时第二片同样被挡——M0 接受的简化,粒度留到轮换触发接线时复盘);
|
||||
// - memory.retain_days = 保留窗口(默认 7 天,硬帽 MAX_RETAIN);0 = 整体关闭(不写不读不裁)。
|
||||
// 时区与 cron(scheduler.js)对齐 Asia/Shanghai:上海无夏令时,按毫秒日移取 day 字符串安全。
|
||||
|
||||
const TZ = 'Asia/Shanghai';
|
||||
const MAX_RETAIN = 30;
|
||||
const DAY_MAX = 4000; // 单日条目长度帽:溢出从头部裁(保最近片段)
|
||||
const FRAG_MAX = 600; // 单碎片长度帽(含【标题 · sid】头行)
|
||||
|
||||
function retainDays(cfg) {
|
||||
const n = Math.floor(Number((cfg && cfg.memory || {}).retain_days) || 0);
|
||||
return Math.max(0, Math.min(MAX_RETAIN, n));
|
||||
}
|
||||
function isEnabled(cfg) { return retainDays(cfg) > 0; }
|
||||
|
||||
const dayFmt = new Intl.DateTimeFormat('en-CA', { timeZone: TZ }); // en-CA = ISO 'YYYY-MM-DD'
|
||||
function dayString(ms) { return dayFmt.format(new Date(Number(ms) || Date.now())); }
|
||||
|
||||
// 近 n 天窗口(含今天),数组按日期降序(新在前)。
|
||||
function recentDays(cfg, refMs) {
|
||||
const n = retainDays(cfg);
|
||||
const out = [];
|
||||
const t = Number(refMs) || Date.now();
|
||||
for (let i = 0; i < n; i++) out.push(dayString(t - i * 86400000));
|
||||
return out;
|
||||
}
|
||||
|
||||
// ---------- 写:碎片追加进对应天条目 ----------
|
||||
// sid 三重角色:去重标记 / 条目里的下钻索引(M3 回忆按它取旧会话详情与成果文件)/ 溯源。
|
||||
function appendFragment(db, cfg, user, day, text, sid) {
|
||||
if (!isEnabled(cfg) || !day) return false;
|
||||
const frag = String(text || '').replace(/\r/g, '').trim().slice(0, FRAG_MAX);
|
||||
if (!frag) return false;
|
||||
const key = String(user || '');
|
||||
const row = db.prepare('SELECT content FROM memory_entries WHERE user = ? AND day = ?').get(key, day);
|
||||
const base = row ? String(row.content) : '';
|
||||
if (sid && base.includes(String(sid))) return false; // 本会话已入当天日记
|
||||
let next = base ? base + '\n\n' + frag : frag;
|
||||
if (next.length > DAY_MAX) next = next.slice(next.length - DAY_MAX);
|
||||
db.prepare(
|
||||
'INSERT INTO memory_entries (user, day, content, updated_at) VALUES (?,?,?,?)'
|
||||
+ ' ON CONFLICT(user, day) DO UPDATE SET content = excluded.content, updated_at = excluded.updated_at'
|
||||
).run(key, day, next, Date.now());
|
||||
prune(db, cfg); // 裁剪就一条廉价 DELETE,每次追加顺带做,表恒在保留窗内
|
||||
return true;
|
||||
}
|
||||
|
||||
// ---------- 读:渲染成可注入会话上下文的日记文本(M2 的数据源) ----------
|
||||
// 无记忆返回 '';天降序(新在前);头行说明 sid 用途,AI 自然知道可以下钻。
|
||||
function journalFor(db, cfg, user) {
|
||||
const n = retainDays(cfg);
|
||||
if (!n) return '';
|
||||
const days = recentDays(cfg);
|
||||
const rows = db.prepare(
|
||||
'SELECT day, content FROM memory_entries WHERE user = ? AND day IN ('
|
||||
+ days.map(() => '?').join(',') + ') ORDER BY day DESC'
|
||||
).all(String(user || ''), ...days);
|
||||
if (!rows.length) return '';
|
||||
const head = '【长期记忆·日记(近' + n + '天)】近期交互的当日事件记录;'
|
||||
+ '【… · 】内的编号是当时会话 id,需要当时的对话细节或成果文件时,用回忆工具按它下钻。';
|
||||
const parts = [head];
|
||||
for (const r of rows) parts.push('=== ' + r.day + ' ===\n' + r.content);
|
||||
return parts.join('\n\n');
|
||||
}
|
||||
|
||||
// ---------- 裁剪:day 为 ISO 串,字典序即日期序 ----------
|
||||
function prune(db, cfg) {
|
||||
const days = recentDays(cfg);
|
||||
if (!days.length) return 0;
|
||||
const res = db.prepare('DELETE FROM memory_entries WHERE day < ?').run(days[days.length - 1]);
|
||||
return res.changes || 0;
|
||||
}
|
||||
|
||||
module.exports = {
|
||||
isEnabled, retainDays, dayString, recentDays,
|
||||
appendFragment, journalFor, prune,
|
||||
MAX_RETAIN, DAY_MAX, FRAG_MAX,
|
||||
};
|
||||
@@ -26,6 +26,8 @@ engine.init();
|
||||
// 定时任务调度器(scheduler.js):必须在 engine.init() 之后启动——init 先把会话状态归位
|
||||
//(active/遗留 queued → held),首轮 tick 才不会看到脏状态。
|
||||
scheduler.start(engine);
|
||||
// 长期记忆保留窗裁剪(memory.js):平时追加碎片顺带裁,这里兑底「窗口改小/长期无轮换」的表残留。
|
||||
require('./memory').prune(db, cfg);
|
||||
|
||||
// 微信接入(wechat.js,可选能力):env WXBOT_URL/WXBOT_TOKEN 未就位 = 全部静默关闭;配了但 wxbot 没起 =
|
||||
// restore 只留一行日志,不重试不报错(用户在设置页点刷新自愈),不影响 Web 主流程。
|
||||
|
||||
Reference in New Issue
Block a user