LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write, 而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。 手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被 小包拖住),表现就是流式输出时整个界面卡顿。 改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲: 攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call / assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。 预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。 所有客户端受益(隧道、局域网直连、微信桥接)。
agent-core
agent 仓库的 core 服务:Express + SQLite + 静态 H5 前端。
对外能力、部署与配置见仓库根 ../README.md。
本地运行
cd app
npm install
cp config.example.yml config.yml
# 本地调试时把 workspace_root / data_root 改到仓库内可写目录
AGENT_CONFIG=./config.yml node server/server.js
默认监听 8090。platforms 可以留空,启动后到设置页添加模型并重启。
关键文件
| 文件 | 职责 |
|---|---|
server/server.js |
装配配置、DB、SSE、路由与启动顺序 |
server/engine.js |
会话、模型池、Agent 主循环、压缩、标题、日记收口 |
server/llm.js |
消息组装与上游流式调用 |
server/tools/executor.js |
内置工具与路径沙箱 |
server/tools/definitions.json |
内置工具 schema |
server/routes/ |
HTTP API |
server/public/ |
前端(无构建,按序加载脚本) |