5 Commits
Author SHA1 Message Date
kicer 67d3355f44 perf(sse): 合并高频流式事件,减少 TCP 小包
LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write,
而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。
手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被
小包拖住),表现就是流式输出时整个界面卡顿。

改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲:
攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call /
assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。

预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。
所有客户端受益(隧道、局域网直连、微信桥接)。
2026-11-15 15:11:00 +08:00
kicer 953438a82a 微信接入 core 侧:wechat.js 桥接(绑定权威/实例控制/inbox 转 channel/总线投递带游标)+ /api/wechat 设置页 + /wxhook 内网回调;wxbot 缺席全程静默降级 2026-09-27 21:55:40 +08:00
kicer 07d12ec470 优化重启逻辑 2026-09-22 19:38:53 +08:00
kicer 5214f84612 模型保持占用(held)机制:回合结束不再立即释放模型,进入 held 租约(config.model_hold 可配:idle_release_ms 默认3分钟——页面无人观看即释放;active_max_ms 默认30分钟——有人观看的保持上限;sweep_ms 巡检间隔);held 期间追问直接复用已绑模型免排队(delivered=live);sessions 表迁移新增 held_at 列;sse 增加 clientCount 判定观看者;前端新增保持中状态标签/徽章色,终止入口扩展至 held(主动放弃占用);smoke/README/示例配置同步更新 2026-08-31 15:26:44 +08:00
kicer 677b70cffe 按 README 设计方案实现 Agent 系统 app/:多模型 FIFO 调度、Agent 主循环、13 个沙箱工具(web_search 走内网 MCP)、H5 前端(SSE 流式)、Docker 部署与端到端冒烟测试(25/25 通过) 2026-08-31 06:57:38 +08:00