root
|
28d5e7080f
|
网络改名:my-app-network → agent-mcp-net(纯改名,其余不变)
|
2026-09-15 22:23:39 +08:00 |
|
kicer
|
3f4ab51ea5
|
公网临时链接改为不透明短 ID(/p/<22字符>),不再暴露文件名/会话名/签名
- public-files.js(新): 内存表 id → (会话, 相对路径, 过期时间);mint 顺手清过期项并兜底上限
- routes/public-files.js(新): GET /p/<id> 匿名取用(查表 → resolveInTask 复核 → sendDownload),未命中/过期一律 404
- routes/public-link.js: 不再签 HMAC,改为 mint 短 ID,返回 http://<IP>:8090/p/<id>(约 50 字符、纯 ASCII)
动因:原 URL 把文件名写了两遍再挂 64 位签名,共 300+ 字符;它会被模型抄进工具参数、并长期留在会话历史每轮重发
- download-send.js(新): 从 files.js 抽出 sendDownload/downloadDisposition,供浏览器下载与公网取用共用
- server.js: /p 挂在 auth.middleware 之前(匿名可达);浏览器下载那套签名链接保持不动
- docs: DEPLOY.md 4.1 / ARCHITECTURE.md(文件树、路由表、约束)/ README.md 同步
|
2026-09-15 21:27:43 +08:00 |
|
kicer
|
52fc3b4d03
|
构建提速:apt/pip/npm 默认走腾讯云镜像(可用 build-arg 覆盖)
- executor/Dockerfile: ARG DEBIAN_MIRROR 换 apt 源(grep 扫 /etc/apt 下两种源文件格式,只替换域名);ARG PIP_INDEX_URL 并以 ENV 烘进镜像,运行期 pip --target 也走镜像
- executor/Dockerfile: 基础阶段补 DEBIAN_FRONTEND=noninteractive(避免无 TTY 下 apt 交互式提问把构建挂死)
- app/Dockerfile: ARG NPM_REGISTRY + npm config set registry
- docs/DEPLOY.md: 补一行构建源说明与覆盖方式
|
2026-09-15 20:59:56 +08:00 |
|
kicer
|
40fb85464d
|
部署:scripts/init.sh 改为纯环境变量驱动,零参数可直接运行
- 不再依赖任何外部文件;全变量可选,什么都不给也能生成并启动(admin/admin、自动探测公网 IP、platforms: [])
- 新增 UP=0(只生成 .env/config.yml,不起容器;此时不检查 docker,没装 Docker 的机器也能用)
- 环境变量优先,MCP_DIR 不存在则跳过并提示
- 输出与生成物里的措辞去掉 /root 路径硬编码(保持中性)
- docs/DEPLOY.md 第 0 节改写为「只读环境变量」的用法
|
2026-09-15 20:35:29 +08:00 |
|
kicer
|
56376bd080
|
部署:新增 scripts/init.sh 一键生成配置并起服务
- scripts/init.sh(新): 读环境变量(来自服务器上的 deploy.conf)生成 .env 与 config.yml,再按序起 agent → mcp;三个平台骨架内建,key 空则不启用该平台
- AUTH_SECRET / EXECUTOR_TOKEN 生成一次后存 .env 复用,重跑不掉登录态
- ZHIPU_KEY 为空时 image-gen/video-gen 注册但 enable: false(缺 key 也能起来)
- config.yml 每次生成前备份为 config.yml.bak.<时间戳>(明确是生成物)
- docs/DEPLOY.md 新增第 0 节;ARCHITECTURE.md 文件树补 scripts/
|
2026-09-15 20:30:44 +08:00 |
|
kicer
|
70779e843e
|
公网链接改为内网现签:新增 /public-link 签发入口,删掉 /mcp-uploads 中转
- download-token.js(新): 从 files.js 抽出临时链接签名(密钥/报文形状/验签),浏览器下载与公网链接共用一份
- routes/public-link.js(新): GET /public-link?path=<绝对路径> 现签一条签名下载链接,
返回纯文本 URL(AI 直接 curl 取用,免解析 JSON)
边界:只收绝对路径 + workspace_root 前缀 + 会话表存在性 + realpath 复核(挡 ln -s 外泄)
- server.js: 该路由只挂在【不映射宿主机】的内网端口(PUBLIC_LINK_PORT,默认 8081),
因此不需要任何凭据 —— 鉴权靠网络边界而不是密钥,密钥也不会漏进会话记录
- server.js/routes: 删掉 mcp-uploads.js 及其挂载(上传中转整套作废)
- config.js/config.example.yml: 新增 public_link.{base_url,ttl_ms}(默认 30 分钟,夹 1min~24h)
- docker-compose.yml: 去掉 MCP_UPLOADS_URL
- 文档: DEPLOY.md 4.1 改写为「公网临时链接」;ARCHITECTURE.md 同步文件树/时序图/约束
|
2026-09-15 19:57:37 +08:00 |
|
kicer
|
f84afe4246
|
部署:合并为单网络 + 新增 /mcp-uploads 公网只读中转(对外只开一个端口)
- docker-compose: 删掉 agent-internal,core/executor/init 全部只挂 my-app-network
(executor 需要按容器名访问 mcp,两个网络已无隔离意义)
- docker-compose: 新增 MCP_UPLOADS_URL=http://mcp_video_gen:3001 开关中转路由
- routes/mcp-uploads.js(新): GET/HEAD /mcp-uploads/uploads/<file> → video_gen 只读监听
挂在 auth.middleware 之前(智谱拉图不带凭据);只转 GET/HEAD,写路径不经公网;
文件名白名单挡目录穿越;上游不可用回 502
- server.js: 装配上述路由
- 文档: DEPLOY.md 新增 4.1「图片中转」、ARCHITECTURE.md 补反向入站链路与单网络约束
- 已用一次性 harness 验证 15 项(含 POST/PUT/DELETE 一律 405、/mcp-uploads/upload 404、
穿越文件名 400、上游只收到 GET/HEAD)
|
2026-09-15 19:40:34 +08:00 |
|
kicer
|
0fe621a0f4
|
部署:my-app-network 改为 agent 侧自建;对外端口默认 8090
- docker-compose: my-app-network 由本仓库创建(固定 name + bridge,非 external),mcp 侧 external 直接加入
去掉手动 docker network create;代价是全新机器要【先起 agent 再起 mcp】
- docker-compose / .env.example: 对外端口默认 8080 → 8090(容器内仍监听 8080)
- docs/DEPLOY.md: 重写「网络」章节(顺序 + 反向 down 的注意事项);访问地址改 8090
- README.md / docs/ARCHITECTURE.md: 同步网络定义与对外端口
|
2026-09-15 19:17:53 +08:00 |
|
kicer
|
906e502b62
|
部署:改为 IP:端口直连(无 nginx-proxy),同步配置模板与文档
- docker-compose: expose 8080 → ports(AGENT_PORT 可覆盖宿主端口,默认 8080),去掉 VIRTUAL_HOST/VIRTUAL_PORT/CERT_NAME
- config.example.yml: mcp_servers 改用容器名访问(http://mcp_web_search:3000/),去掉 nginx Basic 鉴权头
- docs/DEPLOY.md: 重写为 IP:端口直连;补外部网络创建、config.yml 必须用容器内绝对路径(否则 executor 拒绝 cwd)、HTTP 下 PWA/剪贴板降级说明
- README.md / docs/ARCHITECTURE.md: 同步对外暴露方式与架构图
|
2026-09-15 17:54:59 +08:00 |
|
kicer
|
dbc1783b3e
|
功能:executor 镜像分层(基础 M + 技能系统层派生镜像)+ 启动前 skills 初始化
- executor/Dockerfile 改多阶段:base 为基础镜像 M(长期不变,系统工具 + 预烘 Python 包);skills 阶段 = M + 技能系统层依赖(构建期跑各 install.sh,apt 等系统包持久且对命令只读)。build context 改为仓库根,用 .dockerignore 只放行 executor/ 与 skills/。
- 新增 agent-executor-init 一次性服务(executor/init-skills.js,与 core ensureDeps 同 hash/marker 格式):启动前把 requirements.txt(pip --target 共享 deps)与 install.sh 资产落到宿主 ./skills;只挂 ./skills、无特权、read_only,跑完退出;executor depends_on service_completed_successfully。
- 运行期 skills 仍 :ro;M 不变、skills 可变、命令写不了共享系统层,会话隔离保持。
- 实测:构建 stage 两个 install.sh 正常;init 幂等跳过/按需重跑(install.sh 与 pip 分支各验一次);executor 重建后 ReadonlyRootfs=true、/run tmpfs、core 到 executor 健康、run_skill 端到端正常。docs/ARCHITECTURE.md 与 skills/README.md 同步。
|
2026-09-11 23:35:17 +08:00 |
|
kicer
|
2f96414c49
|
加固:executor 拒绝容器自身来源的 /exec;token 移出仓库
- 隔离只 unshare mount+pid,命令与 executor 同 net ns,能打到 127.0.0.1:9000;此前全局 token 一经泄漏,会话内即可借 /exec 以任意会话 cwd 起命令、绕过隔离读他人数据。现 /exec 先于鉴权拒绝源地址为回环/本机网卡的请求(403),/health 不设限;core 在另一容器、源地址非本机,不受影响。
- 实测:容器内带合法 token 调用 403、容器内 /health 200、core 侧新 token 200 且 session 隔离与技能执行正常。
- token 不再硬编码:compose 改用 ${EXECUTOR_TOKEN:?...} 从 .env 读取(.env 已 gitignore,附 .env.example 模板;未设置直接报错,杜绝静默无鉴权)。旧值已轮换(旧 token 401,新 token 200)。
- 本机集成测试用 EXECUTOR_ALLOW_LOCAL_ORIGIN=1 放行回环来源(executor/smoke-test.js、app/test/remote-exec.test.js),生产不得设置;ARCHITECTURE §2/§6 同步。
|
2026-09-11 21:17:02 +08:00 |
|
kicer
|
3e389747c8
|
加固:executor 根文件系统只读,tmpfs 提供可写点
- agent-executor 增加 read_only: true,AI 命令无法往镜像层(/usr、/root 等)写文件做持久化/篡改。
- tmpfs 配 /tmp、/var/tmp、/run。/run 必须有:隔离 wrapper 要在 /run/agent-exec 建私有 anchor/rundir,只读下 mkdir 报 EROFS 会中断每条命令(已实测:Linux + Docker 29 重建后 ReadonlyRootfs=true,session 隔离与技能执行均正常,touch 根目录报 Read-only file system、ls /workspace/tasks 仅见本会话)。
- ARCHITECTURE §6 同步。
|
2026-09-11 21:11:42 +08:00 |
|
kicer
|
4e8560982f
|
修复:技能远端执行的 cwd 落到会话目录,技能看不到会话文件
- runSkill 远端分支 cwd 由技能目录改为会话任务目录(ctx.taskDir),命中 executor 的 session 隔离与虚拟视图:技能在 /workspace/tasks/<sid> 看到的即本会话数据,absolutizeArgs 产出的绝对路径因此有效。此前 cwd 在任务根外走 plain 模式,/workspace/tasks 是镜像空目录,md2pdf/img-utils 这类读写会话文件的技能实际拿不到文件。本地分支行为不变。
- 入口脚本改传绝对路径(run.py/run.sh):cwd 不再是技能目录,相对入口会找不到。
- 依赖安装 ensureDeps 仍以技能目录为 cwd(依赖是技能私有资源,skills 为 :ro)。
- remote-exec 集成测试改为模拟真实会话(拆分虚拟路径/宿主机真实会话/隔离基路径),新增文件读写回归用例;同步 skills/README 与 ARCHITECTURE。
|
2026-09-11 19:58:30 +08:00 |
|
kicer
|
24c8298884
|
fix css
|
2026-09-10 21:51:48 +08:00 |
|
kicer
|
db881d0f85
|
修复:多标签页切号后 /api/me 与会话列表用户不一致(身份统一 cookie 优先)
- 前端 req() 不再附加 sessionStorage 的 Basic 头:sessionStorage 按标签页隔离、刷新后残留,而 cookie 是浏览器全局,多用户切号后两者指向不同用户
- 服务端新增 authUser():cookie 优先于 Basic,中间件与 /api/me 共用同一解析顺序,杜绝显示身份与数据身份分裂;Basic 仅供 curl/脚本无 cookie 时使用
- 登录页不再往 sessionStorage 写明文口令(旧标签页残留值由 logout/启动检查顺带清理)
- ARCHITECTURE.md 同步:§5.7 中间件优先级、§10.3 登录时序、§14.16 新陷阱
|
2026-09-08 09:43:09 +08:00 |
|
kicer
|
54aa56fefd
|
任务文件支持选择文件夹打包下载:目录头勾选整选,选中项含文件夹时后端打包 zip 流式下载
- index.html:目录行加勾选框(整文件夹作为一个选中项,d: 前缀存储);全选/勾选状态按目录树折叠归一化(effectiveSelection);批量下载含文件夹时走 zip-token 签名直链,纯文件仍逐文件下载;批量删除支持目录整体删除
- routes/files.js:纯 Node 手拼 zip(STORE 不压缩 + CRC32,两遍读文件磁盘流发送,不整包进内存);新增 GET /:id/files/zip-token 签发 5 分钟打包下载链接、GET /:id/files/zip[-name/*] 流式返回
- auth.js:签名下载白名单认 zip 两种 URL 形态
- style.css:目录头勾选框选中态样式
|
2026-09-08 07:37:39 +08:00 |
|
kicer
|
d34c14c970
|
优化压缩功能实现
|
2026-09-07 10:07:28 +08:00 |
|
kicer
|
9161a73e8b
|
压缩提示词替换system prompt
|
2026-09-07 09:52:10 +08:00 |
|
kicer
|
2cb1654f14
|
docs: 更新 balance 章节,提及 bigmodel
|
2026-09-06 18:47:24 +08:00 |
|
kicer
|
36c44a5f4e
|
executor 遮蔽源码与 token:① 隔离 wrapper 追加 mount -t tmpfs 盖住 server.js 所在目录(镜像 WORKDIR /app),AI 命令读不到 executor 源码;任务根/cwd 与 WORKDIR 嵌套时(宿主机开发态、smoke 主套)自动跳过,防把任务树一起盖掉。② handleExec 组装子进程 env 时删 EXECUTOR_TOKEN(合并 args.env 之后删,防请求侧重注)——此前每条 AI 命令的 env 都带着鉴权 token,dump 一下即可从容器内回环 POST /exec 以任意他人会话目录起命令,比读源码严重一个量级,一并堵上;server 侧比对用内存常量不受影响。smoke:iso 实例任务根移入系统 tmp 使遮蔽分支真实生效,新增 WORKDIR 遮蔽与子进程 env 剥 token 两用例,25/25(宿主机+容器内)。生产探针实证:ls /app 为空、server.js hidden、EXECUTOR_TOKEN=whoami 在命令 env 中计数 0。ARCHITECTURE.md §6 同步。
|
2026-09-06 11:16:28 +08:00 |
|
kicer
|
fba5515a57
|
修复隔离逃逸:nsenter --mount=/proc/1/ns/mnt 可从隔离 ns 回到原始 mount ns(AI 越狱实测,生产容器复现:/proc/1=executor 主进程,其 ns 句柄可见全部会话目录含已删会话)。评审提议 unshare --fork --pid --mount-proc 方向正确(新 pid ns + proc 重挂后 /proc/1 即命令自身,外部 ns 句柄全断),但直接照抄引入新洞:util-linux --mount-proc 挂的是可写 proc,新 mount 盖住 /proc 顶掉 docker 的 /proc/sys 只读 bind 与 maskPaths(kcore/keys),init userns root+可写 core_pattern=宿主 root 逃逸、sysrq-trigger 可 echo b 重启宿主机。落地:unshare --mount --pid --fork,proc 由 wrapper 手动重挂(flags 对齐 docker:nosuid,noexec,nodev),逐项还原防护——/proc/sys bind 只读、/dev/null 遮蔽 kcore/keys/sysrq-trigger;mount 失败 set -e 断令 fail-closed。副作用红利:ps 只见自家进程树,double-fork 脱管守护进程随命令退出被 pid ns 连带清理(PID 1 语义)。smoke 加 3 用例:nsenter /proc/1 逃逸回归(注意 nsenter 进 mount ns 会 chdir("/"),断言必须绝对路径)、/proc/sys 只读、wrapper 内超时杀 PID 1;宿主机与容器内均 24/24。真实探针验证:修复后 SELF_NS==INIT_PID1_NS、/workspace/tasks 隔离视图无泄漏。ARCHITECTURE.md §6 同步。
|
2026-09-06 11:08:08 +08:00 |
|
kicer
|
3eb3117fac
|
executor 两项评审加固。① /exec 拒绝 cwd 恰为任务根(评审意见成立):任务根是全部会话目录的父目录,此前缺省 cwd 或显式传任务根会命中 isolatedCommand 的不隔离分支、暴露所有会话;现 handleExec 以 REAL_TASK_ROOT(启动时 realpath)显式拦截返回 400,缺省落任务根同样被拒、等效 cwd 必填——「任务根下的命令必进隔离 wrapper」自此成为硬不变式。评审给的 checkCwd 内比较 root===DEFAULT_CWD 的写法在本配置(ROOTS=/workspace)下永不命中,改为对 realpath 相等判断。core 侧三个调用点(terminal 传 taskDir、skills 传 skillDir)均在边界外零影响。② 写后断连守卫(评审意见方向成立但原方案有误,已修正实现):实测 Node 20 对 destroyed res 的 write/end 静默丢弃,未复现声称的崩溃;且原补丁用 writableEnded 判断(断连路径恒 false、永不命中)、finish 顶部 return 会跳过 clearInterval(ping) 泄漏定时器。改为:sseWrite/ping 统一 writableEnded||destroyed 前置拦截,finish 清理与 exit 日志先行、断开时不再触碰 res。smoke 主套 cwd 移到任务根外 .taskroot 边界目录并全部显式传参,新增缺省 cwd 400 / 任务根 400 / 半路断连不击穿服务三用例,宿主机与容器内均 21/21。ARCHITECTURE.md §6 同步。
|
2026-09-06 10:48:00 +08:00 |
|
kicer
|
4c5437e78a
|
agent-executor 降权:privileged: true 改最小权限 cap_add SYS_ADMIN + security_opt apparmor=unconfined(评审意见,方向成立但需补 apparmor 一项)。实测 Docker 29(Ubuntu,AppArmor 启用):默认 AppArmor profile(docker-default)拦 mount(2),单加 SYS_ADMIN 连 mount --bind 都 Permission denied;seccomp 单独放开无用、apparmor unconfined 即全通;默认 seccomp profile 对持 CAP_SYS_ADMIN 进程本就放行 unshare(2)/mount(2),无需改动。相比 privileged 收回:宿主机设备透传(/dev 裸盘)、全套 capability、seccomp 封锁。容器已重建(privileged=false cap_add=[CAP_SYS_ADMIN]),容器内 smoke 16/16 全过(隔离用例真实执行非 SKIP)。compose 原注释里 apt-get install 需 privileged 的说法有误一并清理(该镜像就是在默认 seccomp 下构建的)。server.js/ARCHITECTURE.md 头注同步。注:privileged 顺带提供的 SYS_PTRACE/NET_ADMIN/设备访问随之收回,AI 如需调试类工具再按需显式 cap_add
|
2026-09-06 10:35:35 +08:00 |
|
kicer
|
a2ea5baf77
|
agent-executor per-task 挂载隔离:任务根下的命令 spawn 前包一层 unshare --mount wrapper(isolatedCommand),先 bind 会话根到 /tmp anchor,再把任务根覆盖为 tmpfs、仅把当前会话根 bind 回原路径——AI 命令只能读写自己会话,看不到别人的 task 目录;深层子目录随 bind 自然保留(terminal 的 cd 不断),mount ns 随进程退出销毁。cwd 恰在任务根或其外(skill 入口等)不隔离直接 spawn;core 侧 terminal 的 cwd 恒为 taskDir 且 cd 被 resolveInTask 钳住,AI 无法把 cwd 挪出任务根绕开隔离。compose 移除 cap_drop 改 privileged: true(默认 seccomp/apparmor 拦 unshare/mount),cgroup 资源护栏不变,容器仍仅内网 expose 9000。smoke 新增隔离三用例(无 mount 权限自动 SKIP),并修两处断言误判:cat 成功只回显内容不含文件名;cd 失败信息含兄弟目录名污染 ls 段断言,改分隔符切段 + leaked/blocked 标记,16/16 全过。compose 注释错别字兑住→兜住;ARCHITECTURE.md §6 同步隔离与 privileged 说明
|
2026-09-06 10:19:49 +08:00 |
|
kicer
|
3b3106fa20
|
docs/ARCHITECTURE.md:AI 助手的项目代码导览(复盘全项目后整理)
15 章:项目一句话 / 目录结构 / 部署拓扑图 / 启动流程 / 数据模型(sessions 状态机图) / 11 个核心模块逐一拆(engine/llm/mcp/tools/executor/skills/remote-exec/auth/config/db/sse/balance 各自职责与踩坑点) / executor 容器端点与护栏 / HTTP 路由全表 + SSE 事件清单 / 前端 / 配置字段 / 3 张关键时序图(发消息到 AI 回复、terminal/skill 走 executor、登录)/ 7 类扩展点(加工具/技能/MCP/模型/路由/平台类型/日志的标准化改动步骤)/ 12 项约定(日志/错误/路径/异步/进程组/注释语言等)/ 15 条常见陷阱 / 进一步阅读索引
与 README 互补:README 是设计文档(API/表结构/伪代码),本文件是代码导览(精确到文件行号/函数名,专注改代码时的定位表)
|
2026-09-06 09:29:06 +08:00 |
|
kicer
|
e819586ea3
|
fix issues
|
2026-09-06 08:23:50 +08:00 |
|
kicer
|
25324e7b16
|
fix css
|
2026-08-31 21:39:00 +08:00 |
|
kicer
|
85266f3879
|
add user auth
|
2026-08-31 21:08:46 +08:00 |
|
kicer
|
b926e6e48a
|
models 配置改为每模型独立 url/api_key:移除全局 upstream_url/api_key,config.js 校验每模型必填 url(选填 api_key,去尾斜杠),llm.callModel 按 model_id 解析各自上游与鉴权头,server 启动日志逐模型打印 url;example/test 配置与 README/DEPLOY 同步(本地 config.yml 已改为同值独立结构,gitignore 不入库)
|
2026-08-31 16:29:45 +08:00 |
|
kicer
|
b816efc23f
|
本地部署:顶层 docker-compose/config,域名 agent.ai.foresh.com(nginx-proxy VIRTUAL_HOST + external my-app-network,仅内网 expose 8080,config 只读挂载);配置后缀统一 .yaml→.yml(文件与全部引用,含 Dockerfile/AGENT_CONFIG/config.js/smoke)。smoke 25/25 通过
|
2026-08-31 08:42:16 +08:00 |
|
kicer
|
677b70cffe
|
按 README 设计方案实现 Agent 系统 app/:多模型 FIFO 调度、Agent 主循环、13 个沙箱工具(web_search 走内网 MCP)、H5 前端(SSE 流式)、Docker 部署与端到端冒烟测试(25/25 通过)
|
2026-08-31 06:57:38 +08:00 |
|