67d3355f444aaec2066bc6bbea4ed62bd07a1a1c
LLM 每吐一个 token 就是一条 assistant_delta,sse.js 每次都直接 res.write, 而 Node 的 HTTP server 默认开 TCP_NODELAY —— 每个 token 就是一个 TCP 包。 手机热点 / 跨境链路上包数比字节数更伤(每个包都要射频调度,拥塞窗口也容易被 小包拖住),表现就是流式输出时整个界面卡顿。 改成对 assistant_delta / reasoning_delta / tool_call_args 三类高频事件做缓冲: 攒 50ms 或 8 条合并成一次 write。其他事件(status / done / tool_call / assistant_message / error 等)立即发,但发前先 flush 待发的 delta,保证顺序不乱。 预期:流式输出期间包数从 50-100/s 降到 10-20/s,首字延迟 +50ms(打字机效果感知不到)。 所有客户端受益(隧道、局域网直连、微信桥接)。
Agent 任务台
自托管的 Agent 系统。浏览器或微信下发任务,模型在独立工作目录里读写文件、执行命令、调用技能,产物直接回传。
快速开始
服务器
需要 Docker 与 Compose v2:
./scripts/init.sh
docker compose up -d --build
打开 http://<服务器 IP>:8090,用 admin / admin 登录,先改密码,再到「设置 → 模型」添加平台和 API Key,保存后点「重启服务」。
本机运行
macOS / Linux,Node 20+,不需要 Docker:
./local/start.sh # 后台启动
./local/stop.sh
首次运行会让你选一个工作目录(技能、会话、数据库都在里面)。命令直接在本机执行,没有沙箱隔离,只监听 127.0.0.1。
组成
| 目录 | 说明 |
|---|---|
app/ |
agent-core:Express + SQLite + 前端静态资源,唯一对外端口 |
executor/ |
agent-executor:隔离的命令执行、Office 预览网关 |
wxbot/ |
微信接入 |
mcp/ |
四个 MCP 服务:网页搜索、图片生成、视频生成、语音转写 |
skills/ |
内置技能 |
local/ |
本机模式启动器 |
配置
./scripts/init.sh 首次生成 config.yml,只有 agent-core 读取。日常改动走设置页,保存后点「重启服务」。
platforms:
- name: bigmodel
url: https://open.bigmodel.cn/api/paas/v4
models:
- id: glm-5.3-flash
vision: true
keys:
- api_key: "sk-..."
端口与其余环境变量在 docker-compose.yml 里。
升级
git pull
docker compose up -d --build
数据在 data/、tasks/ 和 config.yml 里,升级不受影响。
安全
- 对外只开 agent-core 一个端口,其余服务只在 Docker 内网
- 命令在 executor 容器里执行,只挂当前会话目录,根文件系统只读
- 单租户设计:除管理员接口外不做用户级资源隔离,不要开放给互不信任的人
config.yml、.env、wxbot/data/存密钥,已加入.gitignore
License
AGPL-3.0,见 LICENSE。
Releases
1
agent-device-v0.1.0
Latest
Languages
JavaScript
71.2%
Python
9.4%
CSS
6.6%
HTML
6.3%
Shell
4.2%
Other
2.3%
