Commit Graph
41 Commits
Author SHA1 Message Date
kicer 8ed99e4f90 feat(memory): 长期记忆只读调试页——/memory.html + GET /api/memory
独立于 SPA 的单文件调试台,查表即答零写操作,重启服务后开
http://<host>:<port>/memory.html 验证记忆数据是否准确:
- 注入预览:journalFor 同源渲染文本(所见即新会话模型所得);
- 按天条目:memory_entries 原样,碎片分卡展示,窗外条目打标(prune 未及的可见残留),
  【标题 · 会话id】里的 id 直链 /api/sessions/<id> 原始 JSON 溯源;
- 已收口会话:journaled_at 非空清单(碎片 ↔ 来源会话对照排查)。
顶部 meta 条显示当前用户的 retain_days/wrap_idle_ms/auto_complete_ms 生效值。
2026-09-29 11:27:19 +08:00
kicer 8acc1bf508 feat(memory): M0 长期记忆地基——按天日记表 + 碎片存储渲染 + 轮换摘要生成原语
微信通道拟人化工程第一步(定位:让用户觉得对面是「有记忆的真实的人」,
与 profile 分工:画像=用户是什么样的人[语义记忆],日记=近几天帮他做过什么[事件记忆])。

- memory.js(新):memory_entries(user, day) 纯存储/渲染,无模型调用——
  appendFragment 碎片追加(sid 去重防轮换双写、同日多片机械拼接不做 LLM 二次合并、
  DAY_MAX 溢出保最近);journalFor 渲染近 N 天注入文本(M2 数据源,头行说明 sid
  供 M3 回忆下钻);prune 按 ISO 天串裁保留窗外(每次追加顺带 + 启动兑底)。
- engine.journalFragment(sessionId):会话轮换(换工作台)时为旧会话生成一条当日
  第一人称日记碎片——自动标题同模式 fire-and-forget + journaling 防重入 +
  失败降级为「标题+成果文件清单」,永不阻塞轮换路径(微信先回信、日记后台落)。
  转录按【旧会话创建日】入条目,跳 archived/channel_note/scheduler_note,
  超长取首尾截中段;/clear 不记(主动清零=不要这段记忆,已定调)。
- config: memory.retain_days 默认 7(硬帽 30),0=整体关闭;示例同步。
- db: 建表不建外键(用户级记忆不随删会话消失);时区 Asia/Shanghai 与 cron 对齐。

M0 不含触发接线(M1:4h 间隔/超长/new 换绑轮换)与注入(M2)。
2026-09-29 10:31:43 +08:00
kicer 99293aa39d 重做配置边界(撤销 9b6bfff 思路):config.example.yml 回归 app/——config.yml 是 core 专属(内含平台密钥/登录 secret),executor/wxbot 一律不挂不读;executor 与 wxbot 接线纯 env(EXECUTOR_URL/EXECUTOR_TOKEN、WXBOT_URL/WXBOT_TOKEN,compose 经根 .env 注入,旧文件段忽略),config.example.yml 两段随之删除;wxbot 日志等级改 env WXBOT_LOG_LEVEL(compose 注入,同 EXECUTOR_LOG_LEVEL 模式;none/off→silent,debug 打印收信原始结构保留);.env.example 收敛为密钥+地址类变量,其余旋钮归 compose;compose 撤掉 wxbot 的 config.yml 只读挂载、新增 WXBOT_LOG_LEVEL、WXBOT_URL 保留单横线修复(该文件仍有主人 WIP,未随本提交);文档同步 2026-09-28 07:57:30 +08:00
kicer d1f4b354c1 微信收信泛化为媒体管线:image/video/file 经 SDK download → inbox(base64) → core magic 嗅探落会话任务目录(文件留消毒原名、图/视频生成 wximg-/wxvid- 名)+ files 元数据 + 「用户上传了文件」告知行(同 web 附件链路,vision 模型 read_file 即见);voice 二期占位;hookRouter 自带 32mb 解析器并前置于全局 json(2mb) 2026-09-27 23:39:17 +08:00
kicer 953438a82a 微信接入 core 侧:wechat.js 桥接(绑定权威/实例控制/inbox 转 channel/总线投递带游标)+ /api/wechat 设置页 + /wxhook 内网回调;wxbot 缺席全程静默降级 2026-09-27 21:55:40 +08:00
kicer 9acac53343 新增 /api/channel/send 文本命令接入端:/new /stop /compact /clear /status /help + (user,channel) 当前会话绑定(channel_sessions 表,懒自愈) 2026-09-27 21:08:33 +08:00
kicer de1a6b59a9 模型调度改造:去排队去独占,key 共享并发+「最不 active」优先级选 key;绑定持久化、失效自动改选,弹窗任意可选 2026-09-27 20:51:34 +08:00
kicer 7708eea46a 用户画像(跨会话、按登录用户隔离,只记称谓/行业/偏好三字段):新建/清空会话时把画像渲染文本+现取的近期关注(最近5条会话标题,不入库)冻结进sessions.profile_snapshot,buildMessages以system后首条user恒定注入(不入messages表故阶段归档/压缩免疫,字节恒定不破前缀缓存);唯一更新时机enterExecuting落槌——advising轮历史+当前画像+任务书快照喂一次模型调用(templates/profile-prompt.txt锁三字段JSON全量覆写语义:未提及原值拷回、被纠正才改写/清空),服务端按字段覆写、漏字段/解析失败保旧值,fire-and-forget永不抛出;user_profiles表(user主键,data JSON,enabled开关);/api/profile读写按req.user隔离,账户设置页新增用户画像子页(可见可改可停用,停用即清现存快照且不再提取);auth未启用=空串键隐式单用户 2026-09-25 17:54:09 +08:00
kicer ffac8c759c prompt.txt默认组合段改走effectiveTools():此前直接concat全量,把全局tools_deny屏蔽的lab也dump了进去,与模型实收不符(人工核对被误导);现与engine每轮实际发送同源,标题注明过滤、日志改过滤数/原始数双值(tools=12/13),profile段对照基数改用原始全量 2026-09-24 08:49:57 +08:00
kicer 1addf0d95d data-page技能+服务端承载:①executor抽出runTaskSql统一SQL执行核心(db工具exec/query与HTTP API共用,prepare挡多语句/reader读写分流/BEGIN事务/DDL判定单一事实源;读取iterate到量截断防大表SELECT*物化OOM,工具超限给截断信封、API超限报error引导分页,query信封不再报total_rows)②新路由/app/{task_id}/静态托管任务app/子树(index兜底、不给列目录)+POST /api/db/{task_id}/query任意单语句,失败200+{error}按SKILL.md契约,挂登录态后、不加CORS头③技能run.py幂等复制templates到app/templates(dest由manager预转绝对路径防本地模式cwd落技能目录),SKILL.md补front matter(op=list描述+input_schema)与lastInsertRowid示例 2026-09-23 22:59:52 +08:00
kicer 3555d29465 技能三件套并为skill(op=list/get/run):同一标识空间+生命周期按规范§一合并,§七配套关系转为op间依赖并迁入tool description;input_args降为可选缺省{}(缺参由技能input_schema点名报错,免双重门槛);mini整工具放行顺带获得op=list;模板/注入段/config allow/README/SKILL.md/ARCHITECTURE同步改名,tool-design补§二持久资源动作归并澄清 2026-09-23 08:15:59 +08:00
kicer 07d12ec470 优化重启逻辑 2026-09-22 19:38:53 +08:00
kicer a9ec8f2741 新增 model_profiles:小模型的 prompt+tools 组合白名单
- 顶层 model_profiles 定义多套组合 {tools_allow?, system_prompt_file?},platforms 里的模型用 profile: <名> 引用(同 id 跨平台复用);引用不存在/文件缺失/空壳组合直接校验报错
- tools_allow 按最终工具名(内置 + MCP,含 server__ 前缀)过滤发给模型的 tools;名单外工具被调用不拦,executor 全表照跑
- system_prompt_file 相对 server/templates/,配置加载时一次读入常驻内存;设了即完全接管(不拼技能段),语言后缀照拼
- 运行期动态切换:发消息带 profile 参数(同 deepThink 约定,每迭代取 run 最新值),纯内存选择、不碰 config.yml;'default'=显式全量,未知名 400
- 压缩回合跟随当前组合;prompt 缓存改 (profile,语言) 键;prompt.txt dump 每套组合各一段;/api/models 带 profile、/api/system/status 下发组合名供前端选择器
2026-09-22 10:38:04 +08:00
kicer 9820bb86fc 模型池槽位按物理key拆分:平台key为其下模型共享资源,绑定时选具体模型(上次平台优先+平台内绑定数轮转) 2026-09-21 11:31:57 +08:00
kicer ae28587c02 修复模型占用的问题 2026-09-21 11:08:43 +08:00
kicer 4403256fa9 scheduler: 定时任务核心——scheduled_tasks 表(会话主键+CASCADE)+ 30s 轮询调度器(触发前存档历史,postUserMessage 投递即复活,最小间隔 1h,cron-parser@5.10.1 锁版) 2026-09-19 22:23:19 +08:00
kicer b65485b7e5 新增内置工具 mint_public_link,退役内网签发端口 8081
- mint_public_link:AI 只传文件名,core 在进程内直接 publicFiles.mint() 签出短命公网链接,返回单行 URL;校验 = base_url 已配 + resolveInTask 沙箱 + 确认是文件 + realpath 未跳出任务
目录

    - 删除 routes/public-link.js 与 server.js 里的签发端口(PUBLIC_LINK_PORT/8081):该接口对 AI 已冗余(进程内签发不绕 HTTP,也不存在带不了凭据的问题);public_link 配置项收窄为 mint_public_link 的开关,不再监听额外端口

    - 跟进:definitions.json/HANDLERS 注册;config.example.yml、config.js、public-files.js、download-token.js、routes/files.js 注释;ARCHITECTURE(目录树/部署图/关键约束/5.4 工具表)、DEPLOY 4.1、init.sh 自检改探 /p/<id>、两个 README(工具数 16、公网链接说明)

    - 注:docker-compose.yml 一并带上此前工作区的 VIRTUAL_HOST/my-app-network 改动
2026-09-17 20:12:56 +08:00
kicer 3f4ab51ea5 公网临时链接改为不透明短 ID(/p/<22字符>),不再暴露文件名/会话名/签名
- public-files.js(新): 内存表 id → (会话, 相对路径, 过期时间);mint 顺手清过期项并兜底上限
- routes/public-files.js(新): GET /p/<id> 匿名取用(查表 → resolveInTask 复核 → sendDownload),未命中/过期一律 404
- routes/public-link.js: 不再签 HMAC,改为 mint 短 ID,返回 http://<IP>:8090/p/<id>(约 50 字符、纯 ASCII)
  动因:原 URL 把文件名写了两遍再挂 64 位签名,共 300+ 字符;它会被模型抄进工具参数、并长期留在会话历史每轮重发
- download-send.js(新): 从 files.js 抽出 sendDownload/downloadDisposition,供浏览器下载与公网取用共用
- server.js: /p 挂在 auth.middleware 之前(匿名可达);浏览器下载那套签名链接保持不动
- docs: DEPLOY.md 4.1 / ARCHITECTURE.md(文件树、路由表、约束)/ README.md 同步
2026-09-15 21:27:43 +08:00
kicer 70779e843e 公网链接改为内网现签:新增 /public-link 签发入口,删掉 /mcp-uploads 中转
- download-token.js(新): 从 files.js 抽出临时链接签名(密钥/报文形状/验签),浏览器下载与公网链接共用一份
- routes/public-link.js(新): GET /public-link?path=<绝对路径> 现签一条签名下载链接,
  返回纯文本 URL(AI 直接 curl 取用,免解析 JSON)
  边界:只收绝对路径 + workspace_root 前缀 + 会话表存在性 + realpath 复核(挡 ln -s 外泄)
- server.js: 该路由只挂在【不映射宿主机】的内网端口(PUBLIC_LINK_PORT,默认 8081),
  因此不需要任何凭据 —— 鉴权靠网络边界而不是密钥,密钥也不会漏进会话记录
- server.js/routes: 删掉 mcp-uploads.js 及其挂载(上传中转整套作废)
- config.js/config.example.yml: 新增 public_link.{base_url,ttl_ms}(默认 30 分钟,夹 1min~24h)
- docker-compose.yml: 去掉 MCP_UPLOADS_URL
- 文档: DEPLOY.md 4.1 改写为「公网临时链接」;ARCHITECTURE.md 同步文件树/时序图/约束
2026-09-15 19:57:37 +08:00
kicer f84afe4246 部署:合并为单网络 + 新增 /mcp-uploads 公网只读中转(对外只开一个端口)
- docker-compose: 删掉 agent-internal,core/executor/init 全部只挂 my-app-network
  (executor 需要按容器名访问 mcp,两个网络已无隔离意义)
- docker-compose: 新增 MCP_UPLOADS_URL=http://mcp_video_gen:3001 开关中转路由
- routes/mcp-uploads.js(新): GET/HEAD /mcp-uploads/uploads/<file> → video_gen 只读监听
  挂在 auth.middleware 之前(智谱拉图不带凭据);只转 GET/HEAD,写路径不经公网;
  文件名白名单挡目录穿越;上游不可用回 502
- server.js: 装配上述路由
- 文档: DEPLOY.md 新增 4.1「图片中转」、ARCHITECTURE.md 补反向入站链路与单网络约束
- 已用一次性 harness 验证 15 项(含 POST/PUT/DELETE 一律 405、/mcp-uploads/upload 404、
  穿越文件名 400、上游只收到 GET/HEAD)
2026-09-15 19:40:34 +08:00
kicer 695abf1f6a 功能:接入 prompt_tokens_details.cached_tokens,消息与模型统计展示缓存命中
- engine: assistant 落库与 SSE 事件带 usage {pt,ct,cached}(上游未报 details 时 cached=null 区分未上报与 0 命中);recordModelUsage 写 cached_tokens;modelUsageStats 聚合 today_cached/total_cached
- db: messages 加 usage TEXT、model_usage 加 cached_tokens 列(建表+迁移双路径,幂等)
- server: /api/pool 统计行透传 today_cached/total_cached
- 前端 msg-actions: 时间戳后新增「In: 1.2k/95%, Out: 456」小字(title 显示精确 tok 数),历史/SSE/摘要卡片三处渲染同参
- 模型卡新增「缓存命中」行:累计缓存 tok · 历史命中率(累计缓存÷累计输入)
2026-09-10 09:17:45 +08:00
kicer 4051fcdd5c 清理:移除全部注入型消息(会话上下文/附件系统通知/开始执行指令)
- 会话上下文:删 sessionContextContent/ensureSessionContext/loadHistoryForModel/modelDisplayName 及 bindToSession、runLoopInner、createSession 三处注入;存档/hasUserSince/hasPendingUser 去掉 session_context 特判;SSE 请求历史改用 loadHistory 直取;server.js prompt dump 去掉第 3 部分
- 附件通知:删 routes/messages.js 的 composeWithAttachments/fmtSize 与 POST 路由的 attachments 拼接,正文原样入库、content 必填;前端 send() 不再随 body 传 attachments,无文字时拦截并提示(附件仅上传任务目录);parseUploadNotice 保留兼容旧库行
- 开始执行:删 START_EXECUTION_MESSAGE、engine.startExecution、POST /:id/start 路由与导出(v2 前端本无入口)
- 注释与 README 同步清理
2026-09-10 08:12:56 +08:00
kicer e65cece595 修复模型选择弹窗:/api/models 补齐 platform/mid/vision/key_count;前端按平台分组、key 空闲数判定可选(占用模型数≥key数则平台不可选);测试配置迁移新结构 2026-09-06 20:03:48 +08:00
kicer fd88870d83 修改程序默认路径 2026-09-06 07:34:41 +08:00
kicer 7b532ef82b 桌面端设置页自动收起侧栏;模型删除本地标记隐藏;MCP 支持 enable 字段 2026-09-05 21:43:07 +08:00
kicer fc68094a97 fix issues 2026-09-05 18:55:15 +08:00
kicer 9002e471bb prompt dump 改为完整请求内容三部分,落盘 data/system-prompt.txt
- 路径按需求调整:workspace_root/system-prompt.txt(去点号,宿主机 <repo>/data/)
- 内容扩为模型实际收到的三部分(各带中文节标题注释):
  1. system 消息:模板 + 可用技能 + 语言指令
  2. tools 数组:内置 definitions.json + 启动时发现的 MCP 工具,与请求 tools 字段一致
  3. 会话上下文:首条 user 消息示例(占位会话 id + 首个启用模型渲染;实际每会话动态生成)
- engine.js 导出 sessionContextContent 供示例渲染;dump 失败仅警告不阻塞启动
2026-09-05 18:51:36 +08:00
kicer a4aed4fc9b 启动成功后 dump 当前完整 system prompt 到 workspace_root/.system-prompt.txt
原样输出模板 + 可用技能列表 + 语言指令的最终拼接结果,方便人工核对;
写文件失败只警告不阻塞启动。宿主机对应 <repo>/data/,已在 gitignore 内。
2026-09-05 18:32:58 +08:00
kicer 1d0ab8fc04 system prompt 注入可用技能列表,免去模型先 list_skills 探索
- tools/skills.js 新增 formatSkillListForPrompt:技能列表格式化为
  “## Available Skills” 段落(名称 + 描述,每行一个)
- llm.js 新增 setSkillListText:技能段落拼在模板之后、语言指令之前;
  列表变化时失效 systemPromptText 缓存。仅技能增删/描述变化时更新,
  否则进程内恒定,不破坏上游前缀缓存
- server.js 启动时对技能根目录做快照并注入,启动日志输出技能名
- routes/skills.js 六个变更入口(创建/重命名/删除/文件写/文件删/上传)
  成功后 fire-and-forget 刷新列表:UI 增删改技能无需重启即生效;
  list_skills 保留作实时兜底
- system-prompt.txt Skill Usage 措辞更新:直接信任系统 prompt 中的
  技能列表,列表缺失或疑似过期时才调 list_skills
2026-09-05 18:28:06 +08:00
kicer 734039d917 日志模块拆分 category 参数:log.xxx(category, ...args) 输出 timestamp [level] [category]
- log.js 签名改为 log.xxx(category, ...args);头三段为时间戳 [level] [category],后续参数(含 Error/对象)透传 console 走 util.format
- 所有调用点迁移:从 log.info('[msg] xxx') → log.info('msg', 'xxx');server 启动行无前缀,统一归入 startup
- 实测输出:2026-09-05 09:27:12.068 [debug] [sse] task-20260904-012 event: ping
2026-09-05 09:27:23 +08:00
kicer 2e96318822 加入查询余额相关接口 2026-09-03 07:57:55 +08:00
kicer 5ee8fb2806 添加日志相关功能 2026-09-02 09:57:04 +08:00
kicer b701c824bd token用量输入/输出分开统计展示;加载更多按钮改为占满宽度与全局按钮风格一致 2026-09-02 00:14:25 +08:00
kicer 7682f696cc 实现今日/累计token用量统计;任务删除按钮与技能页统一;加载更多按钮样式重做 2026-09-02 00:07:07 +08:00
kicer e8ec284194 2.0阶段3: 技能管理API(增删改/重命名/文件读写上传,路径防护+文本限制)+H5技能页三视图(列表/文件详情/全屏编辑器),smoke新增[9]技能段 2026-09-01 17:30:42 +08:00
kicer e9a1331557 2.0阶段2: 配置读写API(GET/PATCH保留注释/PUT整文件/validate干跑)+系统状态+优雅重启(exit+Docker拉起,运行中回合409保护);去掉logo退出登录;config.yml挂载放开:ro 2026-09-01 16:50:00 +08:00
kicer 85266f3879 add user auth 2026-08-31 21:08:46 +08:00
kicer 1becf740c3 修复移动端浏览器下载卡住:下载响应禁用缓存协商(no-store + 去 ETag/Last-Modified,消除 304 空体卡死);前端下载改 fetch+Blob 绕过原生下载;修复内置 basic auth 的 Buffer.from 拼写 2026-08-31 19:19:04 +08:00
kicer 526880a956 web_search 从内置工具改为 MCP 服务:新增 server/mcp.js 极简 MCP 客户端(JSON-RPC over HTTP,SSE 帧容错解析),config.yml 新增 mcp_servers(可多个,每项 name?/url/headers,authorization 即普通 header),启动时 tools/list 发现工具转 OpenAI function 格式,随 system prompt 与内置工具一起发给模型(内置 definitions.json 移除 web_search,剩 12 个);executeTool 未命中内置时按注册表经 tools/call 转发,工具重名加服务名前缀;旧 web_search.{url,authorization} 配置自动迁移为一条 mcp_servers;单服务发现失败仅告警不阻塞启动;README/example 配置同步 2026-08-31 17:12:32 +08:00
kicer b926e6e48a models 配置改为每模型独立 url/api_key:移除全局 upstream_url/api_key,config.js 校验每模型必填 url(选填 api_key,去尾斜杠),llm.callModel 按 model_id 解析各自上游与鉴权头,server 启动日志逐模型打印 url;example/test 配置与 README/DEPLOY 同步(本地 config.yml 已改为同值独立结构,gitignore 不入库) 2026-08-31 16:29:45 +08:00
kicer 677b70cffe 按 README 设计方案实现 Agent 系统 app/:多模型 FIFO 调度、Agent 主循环、13 个沙箱工具(web_search 走内网 MCP)、H5 前端(SSE 流式)、Docker 部署与端到端冒烟测试(25/25 通过) 2026-08-31 06:57:38 +08:00